Переведем все в десятичную систему:
101ₓ = 1*x² + 0*x¹ + 1*x⁰ = x²+1
23ₓ = 2*x+3
12ₓ = x +2
получим квадратное уравнение:
x² + 1 = 2*x + 3 + x +2
x²-3*x-4=0
Находим x
Получаем два корня x1 = -1 и x2 = 4
Для решения нашей задачи подойдет второй корень
Ответ: система счисления с основанием 4