Пусть х ≡ a (mod 5), где а = {±2, ±1, 0}. Тогда и у ≡ a (mod 5), так как прибавление к числу пятерки не изменяет остаток от деления на 5.
Преобразуем выражение: х^5у - ху^5 = ху(х^4 + у^4).
х ≡ a (mod 5) и у ≡ a (mod 5), тогда ху ≡ a^2 (mod 5).
х ≡ a (mod 5) и у ≡ a (mod 5), тогда х^4 ≡ a^4 (mod 5) и у^4 ≡ a^4 (mod 5), следовательно х^4 + у^4 ≡ 2a^4 (mod 5).
Получаем: ху(х^4 + у^4) ≡ a^2 * 2а^4 (mod 5) <=> ху(х^4 + у^4) ≡ 2а^6 (mod 5).
Осталось только подставить а = {±2, ±1, 0} и проверить, какие остатки дают эти числа.