уравнение окружности x^2 + ax + y^2 + by = c.
Если проходит через начало координат, то
0 + 0 + 0 + 0 = c и c=0.
Т.к. окружность проходит через (6,0), то
36 + 6a + 0 + 0 = 0, a=-6.
Т.к. окружность проходит через (0,8), то
0 + 0 + 64 + 8b = 0
b=-8.
Получаем уравнение окружности x^2 - 6x + y^2 - 8y = 0