Какой угол составляют между собой ненулевые векторы a и b, если известно, что вектор a+3b...

По условию ортогональности векторов имеем:
$(\vec a+3\vec b)(7\vec a-5\vec b)=0; \\ \\ (\vec a-4\vec b)(7\vec a-2\vec b)=0;$

$7\vec a\cdot \vec a +16\vec a\cdot \vec b-15\vec b\cdot \vec a=0 \\ \\ 7\vec a\cdot \vec a -30\vec a\cdot \vec b+8\vec b\cdot \vec b=0$

или
$7|\vec a|^2 +16|\vec a|\cdot |\vec b|\cdot cos \omega-15|\vec b|^2=0 \\ \\ 7|\vec a|^2 -30|\vec a|\cdot |\vec b|\cdot cos \omega+8|\vec b|^2=0$

Раздели каждое из уравнений на |a|²≠0
Обозначим t=|a|/|b|
Получим
7+16t·cosω-15t²=0
7-30t·cosω+8t²=0

Вычитаем из первого второе:
46t ·cosω-23t²=0
2cosω-t=0 ⇒ t=2cosω
Подставим это значение t в первое уравнение:
7+16·(2cosω)·cosω-15·(2cosω)²=0
или
7+32·cos²ω-64cos²ω=0
28cos²ω=7
cos²ω=1/4
cosω=1/2 или cosω=-1/2
ω=60° или ω=120°
О т в е т. 60°; 120°.