Пусть кол-во кошек будет равняться х, а кол-во собак — у.
Представляем задачу в виде системы уравнений(систему решаем методом подстановки переменной):
5х + 6у=56
х+у=10; 5х+6у=56
у=10-х; 5х+6(10-х)=56у=10-х; 5х+60-6х=56у=10-х; -1х=-4
у=10-х; х=4
у=6
Ответ: Было 4 кошки и 6 собак