Распишу коротко, алгоритм должен быть правильным, но за вычислительные ошибки ответственности не несу.
Посмотрим на
, это парабола с ветвями вверх, значения такой функции будут
при
, меньше - очевидно.
1) Рассмотрим исходное неравенство при ![x \in (- \infty,-1]\cup [5,+ \infty) x \in (- \infty,-1]\cup [5,+ \infty)](https://tex.z-dn.net/?f=x%20%5Cin%20%28-%20%5Cinfty%2C-1%5D%5Ccup%20%5B5%2C%2B%20%5Cinfty%29)
Левая часть упростится до константы, неравенство будет выглядеть так:
0" alt="f(x,a)=-x^2+6x-16-a^2+a>0" align="absmiddle" class="latex-formula">
Это парабола с ветвями вниз, параметр лишь поднимает/опускает ее по оси 
Чтобы у
была некая область значений строго больших нуля необходимо чтобы дискриминант был больше нуля (в этом случае парабола пересечет ось
и ее "горб" залезет в область положительных
). Посчитаем дискриминант

Эта ф-ия парабола, притом 
Значит такой случай отпадает.
2) Пусть теперь 
Левая часть упростится до
, что мы можем раскрыть со знаком минус т.к. ф-ия под модулем всегда больше либо равна нулю
Итого неравенство станет таким
0" alt="-3x^2+18x-26+a-a^2>0" align="absmiddle" class="latex-formula">
Как и в предыдущем случае смотрим на дискриминант

0" alt="D(a)>0" align="absmiddle" class="latex-formula"> при 
т.е. только при таких
нер-во потенциально может иметь решение. Вновь значение параметра передвигает параболу (с ветвями вниз) вдоль прямой 
Понятно что середина "горба", пересекающего прямую
, лежит в точке с абсциссой
, а края
отстоят от точки
на некоторые равные расстояния
Чтобы нер-во имело единственное целочисленное решение, необходимо наложить условия на края "горба"
2}} \right." alt="\left \{ {{3 + 1/3\,\sqrt {-3\,{a}^{2}+3\,a+3}<4} \atop {3 - 1/3\,\sqrt {-3\,{a}^{2}+3\,a+3}>2}} \right." align="absmiddle" class="latex-formula">
Таким образом лишь решением будет лишь целая точка 
Решение системы выглядит как

Что и будет ответом