обозначим искомые числа x,y,z и учтем свойство геометрической прогрессии - ее член в квадрате равен произведению предыдущего и последующего члена.
x+y+z=26 (1)
x²+y²+z²=364 (2)
y²=x*z (3)
воспользуемся формулой (x+y+z)²=x²+y²+z²+2(xy+yz+xz)
26²=676=364+2(xy+yz+xz)⇒xy+yz+xz=(676-364)/2=156
учитывая (3) xy+yz+y²=y(x+y+z)=y*26=156 ⇒y=6
xz=6²=36
x+z=26-6=20 z=20-x
x(20-x)=36 ⇒ x²-20x+36=0
x1=18 x2=2 по т. Виета
у1=20-18=2 у2=20-2=18
Ответ: 2, 6, 18 или 18, 6, 2