На данный момент у меня есть таблица с примерно 100 000 строками. Я хочу проиндексировать данные в этой таблице в индексе Solr.
Таким образом, наивный метод будет заключаться в следующем:
Некоторые проблемы с этим подходом, которые я могу придумать, следующие:
Однако некоторые преимущества:
Подход не масштабируется, я вижу, что, поскольку по мере роста таблицы увеличиваются требования к памяти и размер запроса POST. Мне, возможно, нужно взять n
количество строк, обработать их, а затем взять следующее n
?
Мне интересно, есть ли у кого-нибудь совет о том, как лучше всего реализовать это ?
(ps. Я искал на сайте, но не нашел вопросов, похожих на этот.)
Спасибо.