Что то мне кажется, что задача вовсе не для 11 класса.
Число Pi= 3,1415926
Сначала посчитаем вероятность, что одна точка попадет в квадрат.
Она равна отношению площади круга к плошади квадрата.
Площадь круга известна - это Pi*R*R (Пи эр квадрат)
Можно посчитать, что площадь вписанного квадрата равна 2*R*R (два эр квадрат)
===========
Если начертить квадрат и провести у него диагональ, то длина диагонали два R.
Отсюда получаем длину стороны квадрата как R*sqrt(2), Эр умножить на корень из двух.
==========
Вероятность попадания в круг равна два делить на Пи (2/Pi), это чуть больше одной второй (1/2)
Чтобы три раза попасть в квадрат, нужно трижды перемножить вероятность одного попадания. Это два делить на Пи, и возвести полученное число в куб.
(2/Pi)*(2/Pi)*(2/Pi)=0,1646, если мне не врет мой калькулятор