Было х руб, за 1 игрушку он заплатил x/5 руб, осталось 4x/5.
За 2 игрушку 3/7*4x/5 = 12x/35 руб, осталось
4x/5 - 12x/35 = 16x/35.
За 3 игрушку 3/5*16x/35 = 48x/175 руб, осталось
16x/35 - 48x/175 = 32x/175 = 1,92 руб.
x = 1,92*175/32 = 10,5 руб.
1 игрушка стоила 10,5/5 = 2,1 руб, осталось 10,5 - 2,1 = 8,4 руб.
2 игрушка стоила 8,4*3/7 = 3,6 руб, осталось 8,4 - 3,6 = 4,8 руб.
3 игрушка стоила 4,8*3/5 = 2,88 руб, осталось 4,8 - 2,88 = 1,92.
Задача, видимо, дореволюционная. На это указывает слово "ряд" вместо "магазин" и цены - тогда они такими и были.