Пусть АВС - исходный треугольник, DE - верхнее основание квадрата,
ВN - высота треугольника, а М - точка пересечения высоты с DE.
Треугольники АВС и DBE подобны, поэтому имеем пропорцию
DE BM
------- = ------
AC BN
Если принять сторону квадрата за Х, получаем
Х 3 - Х
------ = --------- , откуда 3 * Х = 15 - 5 * Х , а Х = 15 / 8 = 1,875
5 3