У меня есть кластер HBase v0.90.4-cdh3u3 из 4 узлов, развернутый на инстансах Amazon XLarge (16 ГБ ОЗУ, 4 ядра ЦП) с кучей 8 ГБ -Xmx, выделенной для серверов HRRegion, 2 ГБ для узлов данных. . HMaster\ZK\Namenode находится в отдельном экземпляре XLarge. Целевой набор данных — 100 миллионов записей (каждая запись — 10 полей по 100 байт). Сравнительный анализ выполнялся одновременно из 100 параллельных потоков.
Меня смущает полученная задержка чтения по сравнению с тем, чего добилась команда YCSB и показала в своейстатье YCSB. Они достигли пропускной способности до 7000 операций в секунду с задержкой 15 мс (стр. 10, см. таблицу задержек). Я не могу получить пропускную способность выше 2000 операций в секунду при рабочей нагрузке 90% чтения/10% записи. Запись происходит очень быстро с отключенной автоматической фиксацией (ответ в течение нескольких мс), в то время как задержка чтения в среднем не опускается ниже 70 мс.
Вот некоторые настройки HBase, которые я использовал:
Какие настройки вы рекомендуете посмотреть\настроить для ускорения чтения с помощью HBase?