Как я могу использовать & ldquo; Interpolated Absolute Discount & rdquo; для биграмной модели в языковом моделировании?

В этом ответе я просто прояснил несколько вещей, которые я только что нашел о вашей проблеме, но я не могу предоставить закодированное решение.

• с KneserNeyProbDist вы, похоже, ссылаетесь на реализацию этой проблемы на python: https://kite.com/python/docs/nltk.probability.KneserNeyProbDist
[1113 ] Существует статья о сглаживании Кнезера – Нея в Википедии: https://en.wikipedia.org/wiki/Kneser%E2%80%93Ney_smoothing

• Статья выше связывает этот учебник: https://nlp.stanford.edu/~wcmac/papers/20050421-smoothing-tutorial.pdf , но это имеет небольшую ошибку на самой важной странице 29, открытый текст такой :

  Модифицированный Кнезер-Ней
  Чен и Гудман представили modified Kneser-Ney:

  • Вместо отката используется интерполяция. Используется отдельная скидка для одного и двух счетов вместо единой скидки для всех счетов. Оценивает скидки на удерживаемые данные вместо использования формулы, основанной на количестве тренировок.
  • Эксперименты показывают, что все три модификации улучшают производительность.
  • Модифицированный Кнезер-Ней неизменно имел лучшие показатели.

  К сожалению, измененная версия не объяснена в этом документе.

• Оригинальная документация Chen & amp; К счастью, Гудман доступен, Modified Kneser–Ney smoothing объясняется на странице 370 этого документа: http://u.cs.biu.ac.il/~yogo/courses/mt2013/papers/chen-goodman-99. PDF .
  Я копирую самый важный текст и формулу здесь как скриншот:

Таким образом, Modified Kneser–Ney smoothing теперь известен и кажется лучшим решением, просто переводя описание рядом с формулой в работающем коде - это еще один шаг. Может быть полезно, что под показанным текстом (выше на скриншоте) в исходном связанном документе все еще есть какое-то объяснение, которое может помочь понять необработанное описание.