Использование условных случайных полей для выделения именованных сущностей

CRF является дискриминационной, пакетной, маркирующей моделью, в том же общем семействе, что и модель Максимальной Энтропии Маркова.

Полное объяснение - книжная длина.

Краткое объяснение следующее:

1. Люди аннотируют 200-500K слов текста, обозначающего объекты.
2. Люди выбирают набор признаков, которые, как они надеются, указывают на объекты. Такие вещи, как заглавные буквы, или было ли слово замечено в обучающем множестве с меткой.
3. Обучающая процедура подсчитывает все случаи появления признаков.
4. Мясо алгоритма CRF ищет пространство всех возможных моделей, которые подходят для подсчета, чтобы найти довольно хорошую.
5. Во время выполнения, декодер (вероятно, декодер Витерби) смотрит на предложение и решает, какую метку присвоить каждому слову.

Жесткими частями этого являются выбор признаков и алгоритм поиска на шаге 4.