Пусть разность арифметической прогрессии d, а второе число - x. Тогда (x - d) + x + (x + 9) = 15, откуда 3x = 15, то есть, x = 5.
Если члены были 5 - d, x, 5 + d, то стали 6 - d, 9, 24 + d. Если эти числа образуют геометрическую прогрессию, то два последовательных числа отличаются в одинаковое число раз:
(24+d)/9 = 9/(6 - d)
Раскрывая, получим:
d^2 + 18d - 63 = 0
решаем квадратное уравнение, получаем: d = (-18 +- sqrt(18*18+63*4))/2 = -9 +- 12 = {-21, 3}
То есть, исходные числа были либо (26, 5, -16), либо (2, 5, 8)