Может ли Apache Solr обрабатывать большие данные размером в терабайт

Я являюсь пользователем apache solr около года. Я использовал solr для простых инструментов поиска, но теперь я хочу использовать solr с 5 ТБ данных. Я предполагаю, что 5 ТБ данных станут 7 ТБ, когда solr проиндексирует их в соответствии с фильтром, который я использую. И тогда я буду добавлять почти 50MB данных в час в тот же индекс.

1- Есть ли проблемы с использованием одного сервера solr с данными 5TB. (без шардов)

  • a- Может ли solr сервер отвечать на запросы за приемлемое время

  • b- Каково ожидаемое время для коммитинга 50MB данных в 7TB индекс.

  • c- Есть ли верхний предел для размера индекса.

2- какие предложения вы предлагаете

  • a- Сколько шардов я должен использовать

  • b- Должен ли я использовать ядра solr

  • c- Какова частота фиксации, которую вы предлагаете. (подходит ли 1 час)

3- Есть ли результаты тестов для такого рода больших данных


Нет доступных данных размером 5 ТБ, я просто хочу оценить, каким будет результат.

Примечание: Вы можете предположить, что аппаратные ресурсы не являются проблемой.

6
задан Community 22 September 2017 в 17:44
поделиться