Векторы являются перпендикулярными тогда и только тогда, когда их скалярное произведение равно нулю.
Векторы будут перпендикулярны, если выражение xaxb + yayb = 0.
Определяем координаты вектора (a + mb): (-1 - m; 1 + 2m).
Находим скалярное произведение векторов (a + mb) и b:
(-1 - m)*(-1) + (1 + 2m)*2 = 1 + m + 2 + 4m = 5m +3.
Приравниваем его нулю: 5m +3 = 0.
Отсюда получаем ответ: m = -3/5.