Можно решать эту задачу "с иксами и игреками", но это скучно. Давайте подумаем, как такую задачу мог бы решить школьник, не испорченный составлением уравнений по поводу и без повода.
Сумма углов треугольника 180°; по условию средний по величине угол на 20° больше самого маленького и на 20° меньше самого большого. Давайте уменьшим на 20° самый большой и увеличим на столько же самый маленький. Сумма углов при этом не изменится, но теперь все углы будут одинаковые. Три одинаковых угла в сумме дают 180°⇒каждый по отдельности равен 180/3=60°. Значит, до изменения углы были 40°-60°80°.
Ответ: самый маленький угол = 40°