Прежде всего, надо понять, что равнобедренный треугольник, у которого есть острый внешний угол, - тупоугольный.
Имеем треугольник АВС, где угол В больше 90 градусов, АС - основание и большая сторона.
Пусть АВ=ВС=х см, тогда АС=х+5 см.
Составим уравнение:
х+х+х+5=26
3х=21
х=7.
АВ=ВС=7 см; АС=7+12=12 см.
(В ваших "ответах" - ерунда и путаница).