Не понимаю, зачем решать эту задачу с помощью системы.
Предлагаю такое, достаточно простое и понятное, решение:
Сформируем группу из 12 человек, в которую входят 7 девушек и 5 юношей. Внутри этой группы все девушки танцуют с пятью юношами, а каждый юноша танцует с семью девушками.
Очевидно, что 48 человек сформируют 4 такие группы.
Тогда девушек в 4-х группах: 7 * 4 = 28 (чел.)
юношей в 4-х группах: 5 * 4 = 20 (чел.)
------------------------------
Ответ: на дискотеке было 28 девушек и 20 юношей.