Ну тут лучше перевести первое число в двоичный вид и сравнить со вторым. Алгоритм перевода очень простой: каждая цифра шестнадцатиричного числа представляется в виде 4х разрядов двоичного числа. Получится так: 6С в 16 = 1101100 в 2. Получается, что первое число больше второго