NLTK и обнаружение языка

Как я обнаруживаю, какой язык текст записан в использовании NLTK?

Примеры я видел использование nltk.detect, но когда я установил его на своем Mac, я не могу найти этот пакет.

33
задан John Vandenberg 27 September 2017 в 09:30
поделиться

1 ответ

Вы сталкивались со следующим фрагментом кода?

english_vocab = set(w.lower() for w in nltk.corpus.words.words())
text_vocab = set(w.lower() for w in text if w.lower().isalpha())
unusual = text_vocab.difference(english_vocab) 

из http://groups.google.com/group/nltk-users/browse_thread/thread/a5f52af2cbc4cfeb?pli=1&safe=active

Или со следующим демонстрационным файлом?

https://web.archive.org/web/20120202055535/http://code.google.com/p/nltk/source/browse/trunk/nltk_contrib/nltk_contrib/misc/langid.py

37
ответ дан 27 November 2019 в 17:50
поделиться
Другие вопросы по тегам:

Похожие вопросы: