Такие задания проще решать графически. Из второго уравнения y = x-m.
График первой функции - окружность с радиусом 3 и центром в начале координат. График второй функции - прямая, проходящая через точки (0; -m) и (m; 0). Система не будет иметь решений тогда, когда эти графики не имеет ни одной общей точки. Это будет при 