Как быстрее собирать твиты с помощью Twitter API в Python?

Для исследовательского проекта я собираю твиты с помощью Python-Twitter. Однако при непрерывном запуске нашей программы на одном компьютере в течение недели нам удается собирать только 20 МБ данных в неделю. Я запускаю эту программу только на одной машине, чтобы мы не собирали одни и те же твиты дважды.

Наша программа запускает цикл, который вызывает getPublicTimeline () каждые 60 секунд. Я попытался улучшить это, вызвав getUserTimeline () для некоторых пользователей, которые появились на общедоступной временной шкале. Тем не мение, из-за этого мне постоянно запрещали собирать твиты примерно на полчаса каждый раз. Даже без бана казалось, что добавление этого кода очень мало ускорило работу

. Я знаю о «белых списках» Twitter, которые позволяют пользователю отправлять больше запросов в час. Я подал заявку на это около трех недель назад и с тех пор не получил ответа, поэтому ищу альтернативы, которые позволят нашей программе собирать твиты более эффективно, не превышая стандартного ограничения скорости. Кто-нибудь знает, как быстрее собирать публичные твиты из Twitter? Мы бы хотели получать около 100 МБ в неделю.

Спасибо.

5
задан Chris W 22 November 2010 в 20:02
поделиться