Если провести в прямоугольники диагональ, то она будет ровняться диаметру круга, те 10. А поскольку в круг можно вписать только квадрат, то по формуле Пифагора не сложно посчитать, что сторона квадрата равна √5.
А площадь квадрата, её все знают, а², а (√5)²=5.