OutOfMemory при чтении большого использования объемов данных в спящем режиме
Я должен экспортировать большой объем данных из базы данных. Вот классы, который представляет мои данные:
public class Product{
...
@OneToMany
@JoinColumn(name = "product_id")
@Cascade({SAVE_UPDATE, DELETE_ORPHAN})
List<ProductHtmlSource> htmlSources = new ArrayList<ProductHtmlSource>();
... }
ProductHtmlSource - содержит большую строку внутри, которую я на самом деле должен экспортировать.
Так как размер экспортируемых данных больше, чем память JVM, я считываю свои данные блоками. Как это:
final int batchSize = 1000;
for (int i = 0; i < 50; i++) {
ScrollableResults iterator = getProductIterator(batchSize * i, batchSize * (i + 1));
while (iterator.getScrollableResults().next()) {
Product product = (Product) iterator.getScrollableResults().get(0);
List<String> htmls = product.getHtmlSources();
<some processing>
}
}
Код getProductIterator :
public ScrollableResults getProductIterator(int offset, int limit) {
Session session = getSession(true);
session.setCacheMode(CacheMode.IGNORE);
ScrollableResults iterator = session
.createCriteria(Product.class)
.add(Restrictions.eq("status", Product.Status.DONE))
.setFirstResult(offset)
.setMaxResults(limit)
.scroll(ScrollMode.FORWARD_ONLY);
session.flush();
session.clear();
return iterator;
}
Проблема состоит в том что несмотря на меня сессия очистки после чтения каждого блока данных Product объекты накапливаются где-нибудь, и я, получают исключение OutOfMemory. Проблема не находится в обработке блока кода даже без него, я получаю ошибку памяти. Размер пакета также не является проблемой, так как 1 000 объектов легко находятся в память.
Профилировщик показал, что объекты накапливаются в org.hibernate.engine.StatefulPersistenceContext класс.
stacktrace:
Caused by: java.lang.OutOfMemoryError: Java heap space
at java.lang.AbstractStringBuilder.expandCapacity(AbstractStringBuilder.java:99)
at java.lang.AbstractStringBuilder.append(AbstractStringBuilder.java:518)
at java.lang.StringBuffer.append(StringBuffer.java:307)
at org.hibernate.type.TextType.get(TextType.java:41)
at org.hibernate.type.NullableType.nullSafeGet(NullableType.java:163)
at org.hibernate.type.NullableType.nullSafeGet(NullableType.java:154)
at org.hibernate.type.AbstractType.hydrate(AbstractType.java:81)
at org.hibernate.persister.entity.AbstractEntityPersister.hydrate(AbstractEntityPersister.java:2101)
at org.hibernate.loader.Loader.loadFromResultSet(Loader.java:1380)
at org.hibernate.loader.Loader.instanceNotYetLoaded(Loader.java:1308)
at org.hibernate.loader.Loader.getRow(Loader.java:1206)
at org.hibernate.loader.Loader.getRowFromResultSet(Loader.java:580)
at org.hibernate.loader.Loader.doQuery(Loader.java:701)
at org.hibernate.loader.Loader.doQueryAndInitializeNonLazyCollections(Loader.java:236)
at org.hibernate.loader.Loader.loadCollection(Loader.java:1994)
at org.hibernate.loader.collection.CollectionLoader.initialize(CollectionLoader.java:36)
at org.hibernate.persister.collection.AbstractCollectionPersister.initialize(AbstractCollectionPersister.java:565)
at org.hibernate.event.def.DefaultInitializeCollectionEventListener.onInitializeCollection(DefaultInitializeCollectionEventListener.java:63)
at org.hibernate.impl.SessionImpl.initializeCollection(SessionImpl.java:1716)
at org.hibernate.collection.AbstractPersistentCollection.initialize(AbstractPersistentCollection.java:344)
at org.hibernate.collection.AbstractPersistentCollection.read(AbstractPersistentCollection.java:86)
at org.hibernate.collection.AbstractPersistentCollection.readSize(AbstractPersistentCollection.java:109)
at org.hibernate.collection.PersistentBag.size(PersistentBag.java:225)
**at com.rivalwatch.plum.model.Product.getHtmlSource(Product.java:76)
at com.rivalwatch.plum.model.Product.getHtmlSourceText(Product.java:80)
at com.rivalwatch.plum.readers.AbstractDataReader.getData(AbstractDataReader.java:64)**
5 ответов
Похоже, вы вызываете getProductIterator () с номерами начальной и конечной строк, а getProductIterator () ожидает начальную строку и количество строк. По мере того, как ваш «верхний предел» становится выше, вы читаете данные большими порциями. Я думаю, вы хотите передать batchSize в качестве второго аргумента getProductIterator ().
Не прямой ответ, но для такого рода манипуляций с данными я бы использовал интерфейс StatelessSession .
Можете ли вы опубликовать трассировку стека исключений? Это может быть решается путем передачи подходящих параметров JVM для GC.
Я думаю, это связано - Java StringBuilder - огромные накладные расходы .
По данным StackTrace, создается очень большая строка, вызывающая исключение.
Рискуя показаться глупым - не рассматривали ли вы возможность сделать это иначе?
Лично я бы избегал пакетной обработки, находящейся "далеко" от база данных. Я не знаю, какую базу данных вы используете, но обычно есть механизм для эффективного извлечения набора данных из базы данных в файл, даже если он включает в себя умеренно простые манипуляции на выходе. Хранимые процедуры, специальные экспортные утилиты. Узнайте, что еще можно получить у поставщика вашей базы данных.
КейтЛ прав - вы переходите постоянно растущий предел. Но так разбивать все равно не имеет смысла. Весь смысл курсора прокрутки заключается в том, что вы обрабатываете строку за раз, поэтому нет необходимости разбивать ее на части. Размер выборки уменьшает количество обращений к базе данных за счет использования большего объема памяти. Общий шаблон должен быть таким:
Query q = session.createCriteria(... no offset or limit ...);
q.setCacheMode(CacheMode.IGNORE); // prevent query or second level caching
q.setFetchSize(1000); // experiment with this to optimize performance vs. memory
ScrollableResults iterator = query.scroll(ScrollMode.FORWARD_ONLY);
while (iterator.next()) {
Product p = (Product)iterator.get();
...
session.evict(p); // required to keep objects from accumulating in the session
}
Тем не менее, это ошибка getHtmlSources, поэтому проблема может быть совершенно не связана с проблемой сеанса / курсора / прокрутки. Если эти строки html огромны и на них постоянно ссылаются, возможно, у вас просто заканчивается непрерывная память.
Кстати, я не вижу метода getScrollableResults в ScrollableResults.