Берём за х первое число, тогда второе число будет х+6, третье число будет х+6+6=х+12. Составляем уравнение:
1) х*(х+12)+96=(х+12)*(х+6)
х^2+12+96=x^2+6x+12+72
x^2-x^2-6x=12+72-12-96
-6х=-24
х=24:6=4 - первое число
2) 4+6=10 - второе число
3) 10+6=16 - третье число
Проверка: 16*10-4*16=160-64=96
Примечание: x^2 - это х в квадрате (во второй степени)