Сомнения насчет 568 были не напрасны. На самом деле это 56(8), т.е. 8 - это основание системы счисления. В противном случае нет целых решений здесь.
Решение:
(1*(x+2)^2+1*(x+2)+1)-(5*8+6) = 11
(x^2+4x+4+x+2+1)-46 = 11
x^2+5x-50=0
Решая квадратное уравнение, получаем x = 5 (нам подходит только целый положительный корень).
Можно сделать проверку:
111(7)-56(8)=11(10)
(7^2+7+1)-(5*8+6)=11
57-46=11
Ответ: x=5