Конкуренция Твиттера ~ сохранение твитов (PHP & MySQL)

Я создаю приложение, чтобы помочь нашей команде управлять конкуренцией Твиттера. До сих пор мне удалось взаимодействовать с прекрасным API, и возврат ряд твитов, в которых я нуждаюсь.

Я изо всех сил пытаюсь выбрать лучший способ обработать устройство хранения данных твитов в базе данных, как часто проверить на них и как удостовериться, что нет никаких перекрытий или разрывов.

Можно получить максимальное количество 100 твитов на страницу. В данный момент моя текущая идея состоит в том, чтобы запустить скрипт крона, говорят, один раз приблизительно в 5 минут и захватывают полные 100 твиты за один раз и цикл через них смотрящий в дб, чтобы видеть, могу ли я найти их, прежде, чем добавить их.

Это имеет очевидный недостаток выполнения 100 запросов против дб каждые 5 минут и однако многих INSERT существуют также. Который я действительно не люблю. Плюс у меня очень было бы что-то немного более реальным временем. Поскольку Твиттер является живым сервисом, он выдерживает обосновать, что мы должны обновить наш список участников, как только они входят.

Это снова подбрасывает недостаток необходимости неоднократно опросить Твиттер, который, хотя могло бы быть необходимым, я не уверен, что хочу ковать их API как этот.

У кого-либо есть какие-либо идеи об изящном решении? Я должен удостовериться, чтобы я получил все твиты и не пропустил любого и хранение уникального пользователя дб. Хотя я рассмотрел просто добавление всего и затем группировку результирующей таблицы именем пользователя, но это не опрятно.

Я рад иметь дело со стороной дисплея вещей отдельно, поскольку это - просто получение по запросу от mysql и дисплея. Но дизайн бэкенда дает мне головную боль, поскольку я не вижу эффективный способ сохранить его отсчитывающий, не стуча или API или дб.