Если Вк-скорость катера, Вт-скорость течения, то:
С1=(Вк-Вт) Т1 (уравнение движения против течения, С1=12 км)
С2=(Вк+Вт) Т2 (уравнение движения по течению, С2=5км)
С3=ВкТ (уравнение движения по озеру, С3=18км)
Т=Т1+Т2
Решаем полученную систему
Т1=12/(Вк-3)
Т2=5/(Вк+3)
Т=18/3;
12/(Вк-3) + 5/(Вк+3) = 18/3;
получаем квадратное уравнение, решаем...