tf-idf и ранее невидимые условия

Er, нет, не ломается.

Скажите, что у меня есть два документа, "коза ласки" и B "гофер сыра". Если бы мы на самом деле представили их как векторы, то они могли бы посмотреть что-то как:

[1,1,0,0]
B [0,0,1,1]

и если мы выделили эти векторы в индексном файле, да, у нас есть проблема, когда это прибывает время для добавления нового термина. Но прием его, тот вектор никогда не существует. Ключ является инвертированным индексом.

До новых условий, не влияющих на соответствие косинуса, которое могло бы быть верно в зависимости от того, что Вы имеете в виду. Если я ищу свой корпус (A, B) с запросом "кун-фу мартышки", ни мартышка, ни кун-фу не существуют в корпусе. Таким образом, вектор, представляющий мой запрос, будет ортогональным ко всем документам в наборе и получит плохой счет подобия косинуса. Но не рассматривая ни одно из соответствия условий, которое кажется довольно разумным.

Когда Вы говорите о, "ломаются", я думаю, что Вы подразумеваете, что новые условия не оказывают влияния на меру подобия, потому что у них нет представления в векторном пространстве определенным исходным словарем.

Один подход для решения этой проблемы сглаживания должен был бы рассмотреть фиксацию словаря к меньшему словарю и рассматривать все слова, более редкие, чем определенный порог как принадлежащий специальному предложению _UNKNOWN_ слово.

Однако я не думаю, что Ваше определение "ломается", очень ясно; Вы могли разъяснить то, что Вы имеете в виду там? Если Вы могли бы разрешить это, возможно, мы могли бы обсудить способы работать вокруг тех проблем.