Матрица не имеет обратной, если определитель = 0
Считаем определитель
Лямбду буду записывать как x, для удобства.
x*(5*1-(-1)*x) -4*(2*1-(-1)) + 1* (2*x-5*1) =
x*5+x^2 -4*3+2x-5 = x^2+7x-17
Приравниваем это всё к 0.
x^2+7x-17 = 0
Д=49+4*17=117
x1=
x2=
По идее так. Если, конечно, не напортачила в расчетах.
В любом случае идея решения должна быть понятна ;)