В уме малость сложновато, на бумаге - проще. Каждая цифра в 16-ричной системе - это тетрада (4 бита) . Записываем все цифры числа подряд в двоичной системе (0=0000,1=0001,...9=1001,A=1010,B=1011,...F=1111). А потом группируем полученную последовательность бит триадами, по 3 бита, начиная справа (с младших бит) . И записываем то, что получилось, 8-ричными цифрами (000=0,001=1,...111=7). Для обратного перевода все делаем наоборот - записываем битовые триады и группируем их в тетрады.