JDBC пакетная вставка OutOfMemoryError
Я записал метод insert() в котором я пытаюсь использовать Пакет JDBC для вставки полумиллиона записей в базу данных MySQL:
public void insert(int nameListId, String[] names) {
String sql = "INSERT INTO name_list_subscribers (name_list_id, name, date_added)"+
" VALUES (?, ?, NOW())";
Connection conn = null;
PreparedStatement ps = null;
try{
conn = getConnection();
ps = conn.prepareStatement(sql);
for(String s : names ){
ps.setInt(1, nameListId);
ps.setString(2, s);
ps.addBatch();
}
ps.executeBatch();
}catch(SQLException e){
throw new RuntimeException(e);
}finally{
closeDbResources(ps, null, conn);
}
}
Но каждый раз, когда я пытаюсь выполнить этот метод, я получаю следующую ошибку:
java.lang.OutOfMemoryError: Java heap space
com.mysql.jdbc.ServerPreparedStatement$BatchedBindValues.<init>(ServerPreparedStatement.java:72)
com.mysql.jdbc.ServerPreparedStatement.addBatch(ServerPreparedStatement.java:330)
org.apache.commons.dbcp.DelegatingPreparedStatement.addBatch(DelegatingPreparedStatement.java:171)
Если я заменяю ps.addBatch() с ps.executeUpdate() и удалите ps.executeBatch(), это хорошо работает, хотя это занимает время. Сообщите мне, знаете ли Вы, если использование Пакета является соответствующим в этой ситуации, и если это, тогда почему это дает OurOfMemoryError?
Спасибо
2 ответа
addBatch и executeBatch дают вам механизм для выполнения пакетных вставок, но вам все равно необходимо выполнить алгоритм пакетной вставки самостоятельно.
Если вы просто сложите каждый оператор в одну и ту же партию, как вы это делаете, то у вас закончится память. Необходимо выполнить/удалить пакетную вставку каждой n записи. Значение n зависит от вас, JDBC не может принять такое решение за вас. Чем больше размер пакета, тем быстрее все пойдет, но слишком много, и у вас будет голодная память, и все замедлится или выйдет из строя. Это зависит от того, сколько у вас памяти.
Начните, например, с размера партии 1000 и поэкспериментируйте с различными значениями оттуда.
final int batchSize = 1000;
int count = 0;
for(String s : names ) {
ps.setInt(1, nameListId);
ps.setString(2, s);
ps.addBatch();
if (++count % batchSize == 0) {
ps.executeBatch();
ps.clearBatch(); //not sure if this is necessary
}
}
ps.executeBatch(); // flush the last few records.
Недостаточно памяти, потому что он хранит всю транзакцию в памяти и отправляет ее в базу данных только при вызове executeBatch .
Если вам не нужно, чтобы он был атомарным, и вы хотите повысить производительность, вы можете сохранить счетчик и вызывать executeBatch каждые n записей.