Каково определение информатики энтропии?

Я услышал, что люди неправильно используют термодинамические определения энтропии w.r.t CS.

, Например, Энтропия определенно увеличивается в этой системе.

то, Когда то, что они имеют в виду, является этим кодом, ухудшается и хуже!

Легко раздуть проблему из энтропии. По моему мнению это - симпатичное простое и полезное понятие .

В основном, это определяет количество того, что в среднем Вы узнаете из события, как бросание монетки, взятие команды перехода или индексация массива.

Как операция сравнения посреди алгоритма поиска имеет определенную вероятность P взятия одного ответвления и 1-P взятия другого.

предположим P является 1/2, как это находится в двоичном поиске. Тогда при взятии того ответвления Вы знаете на 1 бит больше, чем Вы сделали прежде, потому что журнал (2/1), основа 2, равняется 1. С другой стороны, при взятии другого ответвления, Вы также изучаете 1 бит.

Для получения среднего объема информации Вы изучите, умножите то, на чем Вы учитесь первые разы ответвления вероятность, Вы берете то ответвление, плюс то, на чем Вы учитесь вторые разы ответвления вероятность того ответвления.

1/2 времена 1 бит, плюс 1/2 времена 1 бит, составляет 1/2 бита плюс 1/2 бита или общий 1 бит энтропии. Это - то, что можно ожидать узнавать в среднем из того решения.

, С другой стороны, предположите выполнение линейного поиска в таблице 1 024 записей.

На первом == тест, вероятность ДА является 1/1024, таким образом, энтропия ДА при том решении

1/1024 times log(1024/1)

или 1/1024 * 10 = приблизительно 1/100 бита.

Поэтому, если ответ ДА, Вы изучаете 10 битов, но шанс этого - приблизительно 1 в тысяче.

, С другой стороны, НЕТ намного более вероятно. Это - энтропия,

1023/1024 * log(1024/1023)

, или примерно 1 раз примерно обнулите = о нуле.

Добавляют два вместе, и в среднем Вы узнаете о 1/100 немного на том решении.

Вот почему линейный поиск является медленным. Энтропия (сколько можно ожидать изучать) при каждом решении слишком мала, так как Вы оказываетесь перед необходимостью изучать 10 битов для нахождения записи в таблице.

Энтропия похожа на хэш-код для вирусных исследователей также. Меньше энтропии, которую Вы получаете, это означало бы, что это, вероятно, шифруется или сжало код, который мог быть потенциально быть вирусом.

двоичный файл стандарта А имел бы более высокую энтропию, чем сжатое или зашифровал то.

С точки зрения сжатия и теории информации, энтропия источника является средним объемом информации (в битах), что символы из источника могут передать. Неофициально разговор, чем более маловероятен символ, тем больше удивления его появление приносит.

, Если Ваш источник имеет два символа, скажите A и B, и они одинаково вероятны, затем каждый символ передает тот же объем информации (один бит). Источник с четырьмя одинаково вероятными символами передает два бита за символ.

Для более интересного примера, если Ваш источник имеет три символа, A, B, и C, где первые два вдвое более вероятны, чем третье, затем третье более удивительно, но также менее вероятно. Существует сетевая энтропия 1,52 для этого источника, как вычислено ниже.

Вы вычисляете энтропию как "среднее удивление", где "удивление" для каждого символа является своими временами вероятности отрицательный двоичный журнал вероятности:

                            binary
symbol  weight  probability   log    surprise
  A        2        0.4      -1.32    0.53
  B        2        0.4      -1.32    0.53
  C        1        0.2      -2.32    0.46
total      5        1.0               1.52

отрицание двоичного журнала используется (конечно), потому что журналы значений между 0 и 1 (эксклюзивный) отрицательны.

Я всегда встречался с энтропией в смысле шенноновской энтропии.

От http://en.wikipedia.org/wiki/Information_entropy :

В теории информации, энтропия является мерой неуверенности, связанной со случайной переменной. Термин отдельно в этом контексте обычно относится к шенноновской энтропии, которая определяет количество, в смысле математического ожидания, информация, содержавшаяся в сообщении, обычно в единицах, таких как биты. Эквивалентно, шенноновская энтропия является мерой средней информации, удовлетворяют, каждый отсутствует, когда каждый не знает значение случайной переменной.

_{(источник: mit.edu )}

от Университет Мексики

информация теоретическое понятие Энтропии является обобщением физического понятия. Существует много способов описать Энтропию. Это - мера случайности случайной переменной. Это - также мера объема информации, который содержат случайная переменная или стохастический процесс. Это - также нижняя граница на сумме, сообщение может быть сжато. И наконец это - среднее количество вопросов "да"/"нет", которые нужно спросить о случайном объекте для определения его значения.

Уравнение для Энтропии в примере приложения для вычисления вероятности:

это - сумма по всем значениям rv вероятности того значения времена журнал этого prob (т.е. p (x) logp (x)). Это уравнение может быть получено из первых принципов свойств информации.

Мое любимое определение, с более практическим фокусом, найдено в Главе 1 превосходной книги Прагматически настроенным Программистом: От Подмастерья Ведущему устройству Andrew Hunt и David Thomas:

Энтропия программного обеспечения

, В то время как разработка программного обеспечения неуязвима почти для всех физических законов, энтропия сильно ударяет нас. Энтропия является термином от физики, которая относится на сумму "разупорядочения" в системе. К сожалению, законы термодинамики гарантируют, что энтропия во вселенной склоняется к максимуму. Когда увеличения разупорядочения программного обеспечения, программисты называют его "гнилью программного обеспечения. "

существует много факторов, которые могут способствовать гнили программного обеспечения. Самый важный, кажется, психология или культура, на работе над проектом. Даже если Вы - команда одной, психология Вашего проекта может быть очень тонкой вещью. Несмотря на лучшие положенные планы и лучших людей, проект может все еще испытать крушение и затухание в течение его времени жизни. Все же существуют другие проекты, которые, несмотря на огромные трудности и постоянные неудачи, успешно борются с тенденцией природы к разупорядочению и умеют выйти вполне прилично.

...

...

разбитое окно А.

Одно разбитое окно, оставленное неотремонтированным в течение любого существенного отрезка времени, прививает в жителях здания чувство abandonment— смысл, о котором власть имущие не заботятся о здании. Таким образом, другое окно разбито. Люди начинают сорить. Граффити появляются. Серьезное структурное повреждение начинается. За относительно короткий промежуток времени здание становится поврежденным вне требования владельца зафиксировать его, и смысл отказа становится действительностью.

"Теория Разбитого окна" вселила полицейские управления в Нью-Йорк и другие крупнейшие города для расправлений с маленьким материалом для не допускания большого материала.Работает: сохраняя сверху разбитых окон, граффити и другие маленькие нарушения снизили уровень тяжкого преступления.

Подсказка 4

не Живет с Разбитыми окнами

, не оставляют "разбитые окна" (плохие проекты, неправильные решения или плохой код) неотремонтированный. Зафиксируйте каждого, как только это обнаружено. Если существует недостаточное время для фиксации его правильно, то забейте его. Возможно, можно закомментировать незаконный код, или отобразить "Не Реализованное" сообщение или заменить фиктивными данными вместо этого. Примите некоторые меры, чтобы предотвратить дальнейшее повреждение и показать, что Вы на высоте положения.

текст, взятый от: http://pragprog.com/the-pragmatic-programmer/extracts/software-entropy

Энтропия обычно имеет много значений в Информатике. Это зависит от контекста. В безопасности энтропия означает, сколько randomality Вы помещаете, например, при генерации закрытого ключа, много приложений просят, чтобы Вы переместили мышь для генерации энтропии. Это генерирует энтропию путем взятия "человеческого" элемента randomality и добавляет его к процессу хеширования генерации ключа.

Теперь существует также defnition для разработки программного обеспечения энтропии. Это определение представляет устаревший код, или кодируйте, который имел многих разработчиков, пишущих это. Обычно используемый в отношении того, когда это - близкое время для рефакторинга проекта программного обеспечения. "Код для этого проекта имеет огромное количество энтропии, потому что многие люди, которые поддержали его, в настоящее время не находятся на проекте".

Вот третье использование в качестве примера, которое я помнил также. В теме моделируемого отжига (что касается информатики), энтропия описана как, сколько затухания произошло во время оценки алгоритма.

я предполагаю для ответа на вопрос хотя, нет конкретного определения слова 'энтропии' за исключением тех, что можно найти в словаре. То, как информатика имеет тенденцию применять тот термин, зависит от контекста использованного термина и что к этому относятся.

Энтропия в информатике обычно относится к тому, насколько случайна последовательность битов. О том, как сделать это точнее, относится следующий вопрос:

Как мне вычислить приблизительную энтропию битовой строки?