Задача решается с помощью одного уравнения:
пусть количество двухрублевых монет - х, а пятирублевых 17-х.
Тогда сумма 64 = 2х + 5(17-х)
5х - 2х = 85 - 64
3х = 21
х = 7 - это количество 2х рублёвых монет.
17 - 7 = 10 - это количество 5ти рублёвых монет.