Как найти область определения этой функции??

Знаменатель не может быть равен нулю. Значит область определения данной функции любые числа, кроме корней этого уравнения:

$R^2-x^2-y^2=0$

$R^2=x^2+y^2$

Получилось уравнение круга с центром в начале координат. Поэтому область определения функции любые числа кроме этого круга.