Можно ли при двоичном кодировании использовать не 0 и 1, а другие знаки (например, буквы А и Б)?
По сути, да. Двоичное кодирование подразумевает использование алфавита из двух символов.