Катер прошёл 40 км за течением реки,и 6 км против течения.Потратил на весь путь 3 часа....

X - собственная скорость катера; x+2 — скорость по течению; x-2 — скорость против течения
Простой способ:
(x+2+x-2)/2 = 40/3 (средняя скорость катера = весь путь / все время)
2х/2=40/3
$x=13 \frac{1}{3}$

Посложнее:
40:(x+2)+6:(x-2)=3
$\frac{40x-80+6x+12-3 x^{2} -12}{ (x+2)(x-2)}=0$
ОДЗ: $x \neq 2, x \neq -2$ - множим на знаменатель
$-3 x^{2} +46x-80 =0 \\ -(3 x^{2} -46x+80)=0 \\ 3 x^{2} -46x+80=0$
решаем через дискриминант

$D= b^{2} -4ac= 46^{2}-4*3*80=2116-960=1156 \\$
...
$x_{1} = \frac{-b+ \sqrt{D} }{2a} = \frac{46+34}{6}= 13 \frac{1}{3}$
$x_{1} = \frac{-b- \sqrt{D} }{2a} = \frac{46-34}{6}= 2$ - ранее исключили, значит, этот корень не подходит

т.е. Ответ: собственная скорость катера = $13 \frac{1}{3}$ км/ч

Катер прошёл 40 км за течением реки,и 6 км против течения.Потратил ** весь путь 3 часа....