В полярной системе координат полярный радиус НЕОТРИЦАТЕЛЕН, то есть p>=0. Поэтому область определения cos2a>=0 при аЄ[-П/4;П/4]U[3П/4;5П/4] . Смотрите учебник Демидовича и Ефимова, а не стройте в МАТСАDe, где допускают полярный угол отрицательным. Вряд ли задание было применять обобщённую полярную систему координат.