Увеличение информации и энтропия
Я недавно считал этот вопрос относительно увеличения информации и энтропии. Я думаю, что у меня есть полудостойное схватывание на основной идее, но мне любопытно как, что сделать с ситуациями такой следующим образом:
Если у нас есть мешок 7 монет, 1 из которых более тяжела, чем другие, и 1 из которых легче, чем другие, и мы знаем более тяжелую монету +, более легкая монета совпадает с 2 нормальными монетами, что увеличение информации связано с выбором двух случайных монет и взвешиванием их друг против друга?
Наша цель здесь состоит в том, чтобы определить две нечетных монеты. Я обдумывал эту проблему некоторое время и не могу структурировать ее правильно в дереве решений или любом другом пути в этом отношении. Какая-либо справка?
Править: Я понимаю формулу для энтропии и формулу для увеличения информации. То, что я не понимаю, - то, как структурировать эту проблему в формате дерева решений.
РЕДАКТИРОВАНИЕ 2: Вот то, где я в до сих пор:
Принятие нас выбирает две монеты, и они оба заканчивают тем, что взвесили то же, мы можем предположить, что наши новые возможности выбора H+L выходят к 1/5 * 1/4 = 1/20, достаточно легкий.
При принятии мы выбираем две монеты, и левая сторона более тяжела. Существует три различных случая, где это может произойти:
HM: Который дает нам 1/2 шанс выбора H и 1/4 шанс выбора L: 1/8 HL: шанс 1/2 выбора высоко, 1/1 шанс выбора низко: 1/1 ML: шанс 1/2 выбора низко, 1/4 шанс выбора высоко: 1/8
Однако разногласия того, что мы выбирали HM являются 1/7 * 5/6, который является 5/42
Разногласия того, что мы выбирали HL являются 1/7 * 1/6, который является 1/42
И разногласия того, что мы выбирали ML являются 1/7 * 5/6, который является 5/42
Если мы взвешиваем полные вероятности с этими разногласиями, нам дают:
(1/8) * (5/42) + (1/1) * (1/42) + (1/8) * (5/42) = 3/56.
То же сохраняется для опции B.
опция A = 3/56
опция B = 3/56
опция C = 1/20
Однако опция C должна быть взвешена более тяжелая, потому что существует 5/7 * 4/6 шанс выбрать два носителя. Таким образом, я принимаю отсюда, что я взвешиваю ТЕ разногласия.
Я вполне уверен, я испортил где-нибудь по пути, но я думаю, что нахожусь на правильном пути!
РЕДАКТИРОВАНИЕ 3: Больше материала.
Принятие масштаба является несбалансированным, разногласия (10/11), что только одна из монет является H или монетой L и (1/11), что обе монеты являются H/L
Поэтому мы можем завершить:
(10 / 11) * (1/2 * 1/5) и
(1 / 11) * (1/2)
РЕДАКТИРОВАНИЕ 4: Попытка идти вперед и сказать, что это - общее количество 4/42 увеличение.
1 ответ
Вы можете построить дерево решений, исходя из соображений получения информации, но это не тот вопрос, который вы опубликовали, а только вычисление получения информации (предположительно ожидаемый информационный прирост ;-) от одного «хода извлечения информации» - выбора двух случайных монет и их взвешивания друг против друга. Чтобы построить дерево решений, вам нужно знать, какие ходы доступны из начального состояния (предположительно, общее правило таково: вы можете выбрать два набора из N монет, N <4, и взвесить их друг против друга - и это единственное вид хода, параметрический по N), ожидаемый информационный выигрыш от каждого, и это дает вам первую ветку дерева решений (ход с наибольшим ожидаемым информационным выигрышем); затем вы проделываете тот же процесс для каждого из возможных результатов этого движения и т. д.
Итак, вам нужна помощь в вычислении ожидаемого прироста информации для каждого из трех допустимых значений N, только для N == 1, или можно попробовать сделать самому? Если реализуется третья возможность, это позволит максимально увеличить объем знаний, которые вы получите в результате упражнения, которое, в конце концов, является ключевой целью домашнего задания. Так почему бы вам не попробовать, отредактируйте свой ответ, чтобы показать вам, как вы поступили и что у вас есть, и мы будем рады подтвердить, что вы все поняли правильно, или постараемся помочь исправить любое недоразумение, которое может выявить ваша процедура!
Правка : пытаюсь дать несколько подсказок, а не подавать OP готовый раствор на блюде ;-). Назовите монеты H (для тяжелых), L (для легких) и M (для средних - их пять). Когда вы выбираете 2 монеты наугад, вы можете получить (из 7 * 6 == 42 возможностей, включая порядок) HL, LH (по одной), HM, MH, LM, ML (по 5), MM ( 5 * 4 == 20 случаев) - 2 плюс 20 плюс 20 равно 42, проверьте. При взвешивании вы получаете 3 возможных результата, назовите их A (тяжелее слева), B (тяжелее справа), C (равный вес). HL, HM и ML, 11 случаев, будут A; LH, MH и LM, 11 случаев, будут B; MM, 20 случаев, будут C. Итак, A и B на самом деле не различимы (какой левый, какой правый, в основном произвольно!), Поэтому у нас есть 22 случая, когда вес будет другим, 20, где они будут равны - это хороший знак, что случаи, дающие каждый результат, находятся в довольно близком количестве!
Итак, теперь посмотрим, сколько (равновероятных) возможностей существовало априори, сколько апостериори для каждого эксперимента » s результаты. Вам нужно выбрать H и L. Если бы вы сделали это наугад до эксперимента, каковы были бы ваши шансы? 1 из 7 для случайного выбора буквы H; учитывая, что выбор L был успешным, 1 из 6 - в целом 1 из 42.
Как ваши дела после эксперимента? Если C, вы можете исключить эти две монеты, и у вас останется загадка H, загадка L и три Ms - так что, если вы выбрали случайным образом, у вас будет 1 из 5, чтобы выбрать H, в случае успеха 1 из 4, чтобы выбрать L, всего 1 из 20 - ваши шансы на успех чуть более чем удвоились. Сложнее увидеть, «что дальше» для случаев A (и, что эквивалентно, B), потому что их несколько, как указано выше (и, что менее очевидно, не равновероятно ...), но, очевидно, вы выиграли » t выберите заведомо более легкую монету для H (и наоборот), и если вы выберете одну из 5 невзвешенных монет для H (или L), только одна из взвешенных монет будет кандидатом на другую роль (L или H соответственно). Игнорируя для простоты проблему "неравновероятности" (которая действительно довольно сложна), можете ли вы вычислить, каковы ваши шансы на предположение (со случайным выбором, не несовместимым с результатом эксперимента) ...?