Возможна ли «загрузка данных» без файла (т.е. в памяти) для MySQL и Java?

Я нахожусь в процессе оптимизации импорта ~ 10 ТБ данных в базу данных MySQL. В настоящее время я могу импортировать 2,9 ГБ (+ 0,8 ГБ индекса) примерно за 14 минут на текущем ноутбуке. Процесс включает чтение файла данных (экспорт Oracle «.dat»), анализ данных, запись данных в файл CSV и выполнение над ним команды «LOAD DATA LOCAL» sql.

Можно ли увеличить скорость импорта (без аппаратных изменений)? Есть ли способ удалить шаг записи файла в файловую систему и позволить MySQL прочитать его снова. Можно ли передавать данные в памяти непосредственно в MySQL (например, через драйвер JDBC)?

Большое спасибо заранее, Йорг.

8
задан Jörg Rech 2 September 2010 в 13:28
поделиться