Лучший способ сохранить индекс в реальном времени?

у меня есть индексный файл Solr / Lucene размером примерно 700 Гб. Документы, которые мне нужно проиндексировать, читаются в режиме реального времени, примерно 1000 документов отправляются каждые 30 минут и нуждаются в индексировании. В моем сценарии каждые 30 минут запускается сценарий, который индексирует документы, которые еще не проиндексированы, поскольку требуется, чтобы новые документы были доступны для поиска как можно скорее, но этот процесс замедляет поиск.

Это лучший способ индексировать последние документы или есть другой способ лучше!