1)
первый символ в слове - 1 бит
Остальные 7 символов - по 5 бит,
Итого одно слово 36 бит
как сюда прикрутить формулу Шеннона - не знаю. И не вижу необходимости.
2)
букв А n=4000 p=0,4 (-p*log_2 p)=0,5287
букв У n=1000 p=0,1 (-p*log_2 p)=0,3322
букв М n=2000 p=0,2 (-p*log_2 p)=0,4644
букв К n=1500 p=0,15 (-p*log_2 p)=0,4105
точек n=500 p=0,05 (-p*log_2 p)=0,2161
пробелов n=1000 p=0,1 (-p*log_2 p)=0,3322
просуммируем последний столбик, и получим
среднее количество информации с одного символа = 2,28 бита
На 10 тысяч символов
22841,8371 бита
То же самое получится, если количество символов определённого вида умножать на шенноновское количество информации с этого символа
3)
вероятность добыть чёрный шар p = 8/32 = 1/4
- log_2 p = 2 бита :)