думаю, что либо вы условие не так дали, либо ваша задача не имеет решения. пойдем от обратного-нужно отрезать треугольник, чтобы осталась фигура с максимальным количеством вершин. из прямоугольника все равно какой угол вырезать-они все прямые. есть три варианта-либо из угла в угол, либо из угла на смежную сторону, либо соединять смежные стороны. других вариантов ПРОСТО НЕТ)))