Т.к. никакое число в квадрате не может быть отрицательным, то под корнем может быть только положительное выражение, тогда найдем случаи, когда
x^2 - 2x -3 >= 0
Решим квадратное уравнение x^2 - 2x -3 = 0
Д/4 = 1+3=4 корень(д/4) = 2
Имеем корни
х1=1+2 = 3 х2 = 1 -2 = -1
Разбив прямую чисел на 3 интервала (-беск; -1], (-1;3), [3; беск) и подставив значения из интервала найдем знак интервала.
Положительные знаки у интервалов (-беск; -1] и [3; беск)
Значит область опредения функции : (-беск;-1] U [3; беск)