1) знаменатель дроби должен быть отличен от нуля
2) подкоренное выражение должно быть неотрицательно
Поэтому
40 - 3х - х² > 0
x² + 3x - 40 < 0
Корни:
D=9+160=169=13²
x=(-3-13)/2=-8 или x=(-3+13)/2=5
(-8; 5)- и есть область допустимых значений данной функции