Я думаю, что вы будете довольны whoosh, возможно, "на фоне" Haystack, который представляет собой аккуратный способ поддержки любой из нескольких поисковых систем в Django (но другие базовые системы, которые он поддерживает, не являются "чистым Python"... whoosh
is).
Я полагаю, что и whoosh, и haystack поддерживают Unicode, так что, в частности, китайский тоже.
Если вам нужна производительность, попробуйте Sphinx Search: http://sphinxsearch.com/ , наиболее известную поисковую систему с высочайшей производительностью и стабильностью, простую в использовании. Python API. Но обратите внимание, что это поисковая система для MySQL. * Вам нужно самостоятельно анализировать файлы и импортировать их в базу данных.
Xapian с привязкой к Python - лучшее решение для Python.