Пусть ∠NKL = ∠MKP = φ - π/2 = α;
неизвестная площадь NKM = s;
a - s = KL*KN*sin(α)/2;
b - s = KM*KP*sin(α)/2;
если это перемножить, то
(a - s)*(b - s) = KL*KN*KM*KP*(sin(α))^2/4 = a*b*(sin(α))^2;
(a - s)*(b - s) = a*b*(sin(α))^2;
осталось решить квадратное уравнение
s^2 - (a + b)*s + a*b*(cos(α))^2 = 0;
s = (a + b)/2 +- √((a + b)^2 - a*b*(cos(α))^2);
s = (a + b)/2 +- √(a^2 + b^2)/2 + a*b*(sin(α))^2);
Осталось понять, какой оставить знак.
s = (a + b)/2 - √(a^2 + b^2)/2 + a*b*(cos(φ))^2);
я нашел частный случай, очень легкий, и
по нему можно понять, что остается именно "минус". Пусть α = π/6; и сам треугольник KLM имеет угол L = π/6; оба
треугольника получаются одинаковые, и их пересечение имеет площадь a/2,
то есть s = (a + b)/4