Низкая производительность тегов POS. Можно ли сделать какой-нибудь предварительный -прогрев?

Я использую NLTK для POS -, помечая сотни твитов в веб-запросе. Как вы знаете, Django создает обработчик запросов для каждого запроса.

Я заметил это :для запроса (~200 твитов ), для пометки первого твита требуется ~18 секунд, а для всех последующих твитов требуется ~120 миллисекунд для пометки. Что я могу сделать, чтобы ускорить процесс?

Могу ли я сделать «предварительный -запрос на прогрев», чтобы данные модуля уже загружались для каждого запроса?

class MyRequestHandler(BaseHandler):
    def read(self, request): #this runs for a GET request
        #...in a loop:
            tokens = nltk.word_tokenize( tweet)
            tagged = nltk.pos_tag( tokens)
14
задан Jesvin Jose 23 July 2012 в 09:45
поделиться