Что такое “энтропийное и увеличение информации”?

Я предполагаю, что энтропия упоминалась в контексте построения деревьев решений .

Для иллюстрации, представьте себе задачу изучения - разделить имена на мужские / женские группы. Дан список имен, каждое из которых помечено либо m , либо f , мы хотим изучить модель , которая соответствует данным и может использоваться для прогнозирования пол нового невидимого имени.

name       gender
-----------------        Now we want to predict 
Ashley        f              the gender of "Amro" (my name)
Brian         m
Caroline      f
David         m

Первым шагом является решение , какие характеристики данных имеют отношение к целевому классу, который мы хотим предсказать. Вот некоторые примеры функций: первая / последняя буква, длина, количество гласных, оканчивается ли она на гласную и т. Д. Итак, после извлечения функции наши данные выглядят так:

# name    ends-vowel  num-vowels   length   gender
# ------------------------------------------------
Ashley        1         3           6        f
Brian         0         2           5        m
Caroline      1         4           8        f
David         0         2           5        m

Цель состоит в том, чтобы построить дерево решений . Примером дерева будет:

length<7
|   num-vowels<3: male
|   num-vowels>=3
|   |   ends-vowel=1: female
|   |   ends-vowel=0: male
length>=7
|   length=5: male

в основном каждый узел представляет тест, выполняемый для одного атрибута, и мы идем влево или вправо в зависимости от результата теста. Мы продолжаем обход дерева, пока не дойдем до листового узла, который содержит прогноз класса ( m или f )

Итак, если мы запустим имя Amro вниз это дерево, мы начинаем с проверки « длина <7? » и получаем ответ да , поэтому мы спускаемся по этой ветви. После ветки следующий тест « является ли количество гласных <3? » снова оценивается как истинно . Это приводит к листовому узлу, помеченному m , и, таким образом, предсказание будет мужским (которым я оказался, поэтому дерево предсказало результат правильно ).

Дерево решений построено сверху вниз , но вопрос в том, как выбрать, какой атрибут разбивать на каждом узле? Ответ - найти функцию, которая наилучшим образом разделяет целевой класс на максимально чистые дочерние узлы (т.е. узлы, которые не содержат смесь мужских и женских узлов, скорее чистые узлы только с одним классом).

чистота называется информацией . Он представляет собой ожидаемое количество информации , которое потребуется для определения того, должен ли новый экземпляр (имя) быть классифицирован как мужской или женский, учитывая пример, который достиг узла. Мы рассчитываем это но вопрос в том, как выбрать, какой атрибут разбивать на каждом узле? Ответ - найти функцию, которая наилучшим образом разделяет целевой класс на максимально чистые дочерние узлы (т.е. узлы, которые не содержат смесь мужских и женских узлов, скорее чистые узлы только с одним классом).

чистота называется информацией . Он представляет собой ожидаемое количество информации , которое потребуется для определения того, должен ли новый экземпляр (имя) быть классифицирован как мужской или женский, учитывая пример, который достиг узла. Мы рассчитываем это но вопрос в том, как выбрать, какой атрибут разбивать на каждом узле? Ответ - найти функцию, которая наилучшим образом разделяет целевой класс на максимально чистые дочерние узлы (т.е. узлы, которые не содержат смесь мужских и женских узлов, скорее чистые узлы только с одним классом).

чистота называется информацией . Он представляет собой ожидаемое количество информации , которое потребуется для определения того, должен ли новый экземпляр (имя) быть классифицирован как мужской или женский, учитывая пример, который достиг узла. Мы рассчитываем это

Эта мера чистоты называется информацией . Он представляет собой ожидаемое количество информации , которое потребуется для определения того, должен ли новый экземпляр (имя) быть классифицирован как мужской или женский, учитывая пример, который достиг узла. Мы рассчитываем это

Эта мера чистоты называется информацией . Он представляет собой ожидаемое количество информации , которое потребуется для определения того, должен ли новый экземпляр (имя) быть классифицирован как мужской или женский, учитывая пример, который достиг узла. Мы рассчитываем это основывается на количестве мужских и женских классов в узле.

Энтропия , с другой стороны, является мерой примеси (наоборот). Он определен для двоичного класса со значениями a / b как:

Entropy = - p(a)*log(p(a)) - p(b)*log(p(b))

Эта двоичная функция энтропии изображена на рисунке ниже (случайная величина может принимать одно из двух значений). Он достигает своего максимума, когда вероятность p = 1/2 , что означает, что p (X = a) = 0,5 или аналогично p (X = b) = 0,5 с вероятностью 50% / 50% быть либо a , либо b (неопределенность максимальна). Функция энтропии находится на нулевом минимуме, когда вероятность равна p = 1 или p = 0 с полной достоверностью ( p (X = a) = 1 или ] p (X = a) = 0 соответственно, последнее влечет p (X = b) = 1 ).

Конечно, определение энтропии может быть обобщено для дискретной случайной величины X с N исходами (а не только двумя):

( log в формуле обычно принимается как логарифм с основанием 2 )

Вернуться к нашей задаче имени классификации, давайте посмотрим на пример. Представьте себе, что в какой-то момент в процессе построения дерева мы рассматривали следующее разбиение:

     ends-vowel
      [9m,5f]          <--- the [..,..] notation represents the class
    /          \            distribution of instances that reached a node
   =1          =0
 -------     -------
 [3m,4f]     [6m,1f]

Как видите, до разделения у нас было 9 мужчин и 5 женщин, то есть P (m) = 9/14 и P (f) = 5/14 . Согласно определению энтропии:

Entropy_before = - (5/14)*log2(5/14) - (9/14)*log2(9/14) = 0.9403

Затем мы сравниваем ее с энтропией, вычисленной после рассмотрения разделения, глядя на две дочерние ветви. В левой ветви end-vowel = 1 мы имеем:

Entropy_left = - (3/7)*log2(3/7) - (4/7)*log2(4/7) = 0.9852

и в правой ветви end-vowel = 0 , мы имеем:

Entropy_right = - (6/7)*log2(6/7) - (1/7)*log2(1/7) = 0.5917

Объединяем левую / правая энтропия, используя количество экземпляров вниз по каждой ветви как весовой коэффициент (7 экземпляров пошли влево, а 7 экземпляров пошли вправо), и получить окончательную энтропию после разделения:

Entropy_after = 7/14*Entropy_left + 7/14*Entropy_right = 0.7885

Теперь, сравнивая энтропию до и после разделения мы получаем меру прироста информации , или сколько информации мы получили, выполняя разбиение с использованием этой конкретной функции:

Information_Gain = Entropy_before - Entropy_after = 0.1518

Вы можете интерпретировать приведенный выше расчет следующим образом: выполняя разделить с помощью функции конечных гласных , мы смогли уменьшить неопределенность в результате предсказания поддерева на небольшую величину 0,1518 (измеряется в битах как единиц информации ).

В каждом узле дерева , этот расчет выполняется для каждого признака, и признак с наибольшим информационным выигрышем выбирается для разделения жадным способом (таким образом, отдавая предпочтение признакам, которые производят чистые ] расщепляется с низкой неопределенностью / энтропией). Этот процесс применяется рекурсивно от корневого узла вниз и останавливается, когда листовой узел содержит экземпляры, имеющие один и тот же класс (нет необходимости разделять его дальше).

Обратите внимание, что я пропустил некоторые детали которые выходят за рамки этого сообщения, в том числе как обрабатывать числовые функции , пропущенные значения ,