Практический способ объяснить “Теорию информации”

Я помню статьи в, кажется, Personal Computer World, в которых была представлена версия ID3 для идентификации монет, хотя в ней использовалась эвристическая альтернатива формуле log. Я думаю, что она минимизировала суммы квадратов, а не максимизировала энтропию - но это было давно. Была еще одна статья в (кажется) Byte, в которой для подобных вещей использовалась формула логарифма для информации (не энтропии). Такие вещи, как эта, помогли мне разобраться с теорией.

EDIT - под "не энтропией" я имею в виду, что, по-моему, там использовались средневзвешенные значения информации, но не использовалось название "энтропия".

Я думаю, что построение простых деревьев решений из таблиц решений - это очень хороший способ понять взаимосвязь между вероятностью и информацией. Это делает связь между вероятностью и информацией более интуитивной, и это дает примеры средневзвешенного значения, чтобы проиллюстрировать энтропийно-максимизирующий эффект сбалансированных вероятностей. Очень хороший урок первого дня.

И что еще приятно, вы можете заменить это дерево решений на дерево декодирования Хаффмана (которое является , в конце концов, деревом решений "какой токен я декодирую?") и сделать эту связь с кодированием.

BTW - взгляните на эту ссылку...

• http://www.inference.phy.cam.ac.uk/mackay/

У Маккея есть бесплатный учебник, который можно скачать (и который доступен в печатном виде), и хотя я не прочитал его весь, те части, которые я прочитал, показались мне очень хорошими. Особенно запомнилось объяснение "объяснения от" в Байесе, начиная со страницы 293.

CiteSeerX - очень полезный ресурс для статей по теории информации (среди прочего).Две интересные статьи...

• http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.18.2410
• http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.51.3672

Хотя CN2, наверное, не материал первого дня.

Мой собственный взгляд на "Теорию информации" заключается в том, что это, по сути, просто прикладная математика / статистика, но поскольку она применяется к связи / сигналам, ее назвали "Теорией информации".

Лучший способ начать понимать концепции - это поставить перед собой реальную задачу. Например, возьмите несколько страниц вашего любимого блога, сохраните их в текстовом файле, а затем попытайтесь уменьшить размер файла и при этом убедиться, что вы все еще можете восстановить его полностью (т.е. сжатие без потерь). Вы начнете, например, заменять все символы "и" на "1", например....

Я всегда придерживаюсь мнения, что лучшим подходом будет обучение на собственном опыте

Я собирался порекомендовать Фейнмана для поп-научных целей, но поразмыслив, я думаю, что это может быть хорошим выбором для начала серьезного изучения. Вы не можете по-настоящему знать эти вещи без математики, но Фейнман так выразителен, что он вводит математику, не пугая лошадей.

Фейнмановские лекции по вычислениям http://ecx.images-amazon.com/images/I/51BKJV58A9L._SL500_AA240_.jpg

Охватывает довольно большую территорию, чем просто теория информации, но это хороший материал и его приятно читать. (Кроме того, я обязан поддерживать команду физиков. Рах! Рах! Ри! )