Цели и задачи курса
Сформировать у студентов понятие об информации, о количестве информации, об информационной емкости ее хранителей, производительности источников и пропускной способности каналов передачи информации, ознакомить с основными приемами эффективного кодирования, кодирования с целью шифрования, обнаружения и исправления ошибок при передаче сообщений.Студент должен уметь оценивать требования к количеству передаваемой (обрабатываемой) информации, информационной возможности конкретных измерительных, вычислительных и передающих устройств с целью выбора оптимальных решений при разработке конкретных систем и алгоритмов обработки данных.
Введение
Понятие об информации. Различные определения информации. Содержание и практическое значение современной теории информации. Определение количества информации по Фишеру.
Темы
Определение количества информации по Шенону. Энтропия системы. Связь информационного и физического понятия энтропии.Свойства информации (энтропии). Условная энтропия и ее свойства.
Энтропия непрерывного сигнала (дифференциальная энтропия).
Источник информации и каналы связи. Их информационные характеристики. Кодирование информации. Количественные характеристики кодов, двоичные и двоично-десятичные коды.
Теорема Шенона для канала без помех. Эффективные коды. Теорема Шенона для канала с помехами. Избыточность кода.
Разновидности помехоустойчивых кодов. Понятие о кодовом расстоянии. Линейные коды, обнаруживающие и исправляющие ошибки. Циклические коды.
Итеративные коды. Адаптивное кодирование. Оценка эффективности корректирующего кодирования. Понятие о методах криптографии.
Заключение
Энергетическая цена единицы информации. Сравнение информационной емкости различных носителей. Поэлементная и голографическая запись информации.