Какова энтропия источника информации, который генерирует пять символов, один из которых в два раза более вероятен, чем остальные

Цели и задачи курса

Сформировать у студентов понятие об информации, о количестве информации, об информационной емкости ее хранителей, производительности источников и пропускной способности каналов передачи информации, ознакомить с основными приемами эффективного кодирования, кодирования с целью шифрования, обнаружения и исправления ошибок при передаче сообщений. Студент должен уметь оценивать требования к количеству передаваемой (обрабатываемой) информации, информационной возможности конкретных измерительных, вычислительных и передающих устройств с целью выбора оптимальных решений при разработке конкретных систем и алгоритмов обработки данных.

Введение

Понятие об информации. Различные определения информации. Содержание и практическое значение современной теории информации. Определение количества информации по Фишеру.

Темы

Определение количества информации по Шенону. Энтропия системы. Связь информационного и физического понятия энтропии. Свойства информации (энтропии). Условная энтропия и ее свойства.

Энтропия непрерывного сигнала (дифференциальная энтропия).

Источник информации и каналы связи. Их информационные характеристики. Кодирование информации. Количественные характеристики кодов, двоичные и двоично-десятичные коды.

Теорема Шенона для канала без помех. Эффективные коды. Теорема Шенона для канала с помехами. Избыточность кода.

Разновидности помехоустойчивых кодов. Понятие о кодовом расстоянии. Линейные коды, обнаруживающие и исправляющие ошибки. Циклические коды.

Итеративные коды. Адаптивное кодирование. Оценка эффективности корректирующего кодирования. Понятие о методах криптографии.

Заключение

Энергетическая цена единицы информации. Сравнение информационной емкости различных носителей. Поэлементная и голографическая запись информации.