Бит - единица, уменьшающая неопределённость знаний в 2 раза.
Байт равен 8 битам, значит он уменьшает неопределённость знаний в 2^8=256 раз.
Неопределённость знаний - количество возможных вариантов события.
Например, когда мы бросаем монетку, есть 2 возможных исхода (орёл или решка); узнав, что выпал орёл (или решка) мы уменьшаем свою неопределённость знаний об этом броске в 2 раза, то есть получаем 1 бит информации.