Если правильно поняла, то будет так:
x² + y² = 10x (если у = 3)
x² + 3² = 10x
x² - 10x + 9 = 0
D = b² - 4ac
D = (-10)² - 4 ·1 · 9 = 100 - 36 = 64 (> 0)
х1,2 = -b ± √D / 2a
x1 = - (-10) + √64 / 2·1 = 10 + 8 / 2 = 18/2 = 9
x2 = -(-10) - √64 / 2·1 = 10 - 8 / 2 = 2/2 = 1
Ответ: х1 = 9; х2 = 1