Пусть сторона квадрата АВСD равна х
По теореме Пифагора из прямоугольного треугольника АВМ:
АМ²=МВ²+АВ²
АМ²=8²+х²
По теореме о трех перпендикулярах АМ⊥AD.
Площадь треугольника АМD равна половине произведения катетов
AM·AD/2=30
AM·AD=60
x·√(64+x²)=60
Возводим в квадрат и решаем биквадратное уравнение
х²·(64+х²)=3600
(х²)²+64х²-3600=0
D=64²+4·3600=4096+14400=18496=136²
x²=(-64+136)/2=36 второй корень отрицательный
х=6 или х=-6 ( не удовлетворяет условию задачи)
Ответ. Сторона квадрата ABCD 6, площадь квадрата АВСD 36.