SOLR - лучший подход для импорта 20 миллионов документов из файла csv

Моя текущая задача - найти лучший подход для загрузки миллионов документов в solr. Файл данных представляет собой экспорт из БД в формате csv.

В настоящее время я думаю о том, чтобы разделить файл на более мелкие файлы и создать сценарий для публикации этих файлов меньшего размера с помощью curl.

Я заметил, что если вы публикуете большой объем данных, в большинстве случаев время ожидания запроса истекает.

Я изучаю импортер данных, и это кажется хорошим вариантом

Любые другие идеи высоко ценятся

Спасибо

14
задан Mark O'Connor 26 February 2012 в 11:23
поделиться