У тебя это однородное уравнение 2 степени
a^2-3ab-4b^2=0 разделим все на a^2
a^2/a^2-3ab/a^2-4b^2/a^2=0 сократим
1-3 b/a-4(b/a)^2=0 введем замену b/a=z получим
1-3z-4z^2=0 умножим на -1
4z^2+3z-1=0
D=b^2-4ac=9+16=25
z1,2=-b плюс минус корень изD/2a=-3 плюс минус 5/8
z1=-3+5/8=1/4 z2=-3-5/8=-1
Обратная замена z=b/a
b/a=1/4 b/a=-1
a=4b a=-b
Ответ: a=4b , a=-b