Lời giải

Gọi I(x; y) là tâm đường tròn ngoại tiếp tam giác ABC.

Khi đó $\overrightarrow{AI}\left(x-6;y+2\right)\Rightarrow AI=\sqrt{{(x-6)}^2+{(y+2)}^2}$;

$\overrightarrow{BI}\left(x-4;y-2\right)\Rightarrow BI=\sqrt{{(x-4)}^2+{(y-2)}^2}$;

$\overrightarrow{CI}\left(x-5;y+5\right)\Rightarrow CI=\sqrt{{(x-5)}^2+{(y+5)}^2}$.

Ta có AI = BI = CI = R. Từ đó ta có hệ phương trình: $\left\{\begin{array}{l}AI=BI\\ BI=CI\end{array}\right.$   

⇒$\left\{\begin{array}{l}\sqrt{{(x-6)}^2+{(y+2)}^2}=\sqrt{{(x-4)}^2+{(y-2)}^2}\\ \sqrt{{(x-4)}^2+{(y-2)}^2}=\sqrt{{(x-5)}^2+{(y+5)}^2}\end{array}\right.$

⇒$\left\{\begin{array}{l}{(x-6)}^{2 }+ {(y+2)}^{2 }= {(x-4)}^{2 }+ {(y-2)}^2\\ {(x-4)}^{2 }+ {(y-2)}^2={(x-5)}^{2 }+ {(y+5)}^{2 }\end{array}\right.$

⇔$\left\{\begin{array}{l}-4x+8y+20=0\\ 2x-14y-30=0\end{array}\right.$

⇔$\left\{\begin{array}{l}-x+2y+5=0\\ x-7y-15=0\end{array}\right.$

Cộng 2 phương trình trong hệ trên vế theo vế ta được: –5y – 10 = 0 ⇒ y = –2

Thay y = –2 vào phương trình –x + 2y + 5 = 0 ta được: –x + 2(–2) + 5 = 0

 ⇒ –x + 1 = 0 hay x = 1

Do đó tâm I (1; –2) và bán kính R = IA = $\sqrt{{(1-6)}^2+{(-2+2)}^2}=5$

Vậy phương trình đường tròn ngoại tiếp tam giác ABC là: (x – 1)2 + (y + 2)2 = 25