Теория информации — это раздел математики и кибернетики, изучающий количественное измерение, сжатие, передачу и хранение информации. Основоположником является Клод Шеннон, опубликовавший в 1948 году работу «Математическая теория связи».

БАЗОВЫЕ ПОНЯТИЯ:

• Информационная энтропия: Мера неопределенности или количества информации. Чем менее предсказуемо событие, тем больше информации содержит сообщение о его наступлении.

• Бит: Фундаментальная единица измерения информации, представляющая ответ на вопрос с двумя равновероятными исходами (да/нет, 1/0).

• Кодирование источника (сжатие данных): Алгоритмы устранения избыточности в данных для уменьшения их объема (с потерями или без потерь).

• Пропускная способность канала: Максимально возможная скорость передачи данных по каналу связи с заданным уровнем шума без возникновения ошибок (описывается теоремой Шеннона — Хартли).

• Канальное кодирование (помехоустойчивость): Добавление строго рассчитанной избыточности в сообщение, чтобы принимающая сторона могла обнаружить и исправить искажения, возникшие при передаче.

КЛЮЧЕВЫЕ ЗАДАЧИ:

• Определение абсолютного предела сжатия данных.

• Определение предельной скорости передачи информации по зашумленным каналам связи.

ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ:

• Создание алгоритмов архивации (ZIP, RAR).

• Разработка форматов медиа (MP3, JPEG, H.264).

• Построение сетей связи (Wi-Fi, 5G, оптоволоконные линии).

• Криптография и защита цифровых данных.

• Системы хранения данных на физических носителях (SSD, HDD).

**********************

Что это
Теория информации изучает как измеряется и передается информация в системах связи и вычислениях она описывает количество информации через вероятность появления символов и степень неопределенности в сообщении

Как работает
Любой источник данных генерирует последовательности символов с разной вероятностью появления чем более случайна последовательность тем больше информации она содержит и тем сложнее её сжать без потерь передача данных происходит через канал который может искажать сигнал из за шума

Ключевые понятия
Энтропия это мера неопределенности источника данных
Чем выше энтропия тем менее предсказуем сигнал
Кодирование это способ уменьшить избыточность данных
Шум это любые искажения при передаче информации
Пропускная способность канала это максимальный объем информации который можно передать без критических ошибок

Где применяется
Теория информации используется в сжатии данных обработке сигналов криптографии машинном обучении и системах связи она лежит в основе всех современных цифровых коммуникаций

Вывод
Информация это не просто текст или данные а математически измеряемая величина связанная с вероятностью и неопределенностью а эффективность передачи всегда ограничена физическими пределами канала