Проблема

Мы пытаемся оптимизировать наше приложение dataserver. Оно хранит акции и котировки в базе данных mysql. И мы не удовлетворены производительностью выборки.

Контекст

- database
    - table stock : around 500 lines
    - table quote : 3 000 000 to 10 000 000 lines
    - one-to-many association : one stock owns n quotes
    - fetching around 1000 quotes per request
    - there is an index on (stockId,date) in the quote table
    - no cache, because in production, querys are always different
- Hibernate 3
- mysql 5.5
- Java 6
- JDBC mysql Connector 5.1.13
- c3p0 pooling

Тесты и результаты

Протокол

• Время выполнения на сервере mysql получено при запуске сгенерированных sql-запросов в командной строке mysql bin.
• Сервер находится в тестовом контексте: никаких других чтений БД, никаких записей в БД
• Мы получаем 857 котировок для акций AAPL

Пример 1: Hibernate с ассоциацией

Это заполняет наш объект акций 857 объектами котировок (все правильно отображено в hibernate.xml)

session.enableFilter("after").setParameter("after", 1322910573000L);
Stock stock = (Stock) session.createCriteria(Stock.class).
add(Restrictions.eq("stockId", stockId)).
setFetchMode("quotes", FetchMode.JOIN).uniqueResult();

SQL сгенерирован:

SELECT this_.stockId AS stockId1_1_,
       this_.symbol AS symbol1_1_,
       this_.name AS name1_1_,
       quotes2_.stockId AS stockId1_3_,
       quotes2_.quoteId AS quoteId3_,
       quotes2_.quoteId AS quoteId0_0_,
       quotes2_.value AS value0_0_,
       quotes2_.stockId AS stockId0_0_,
       quotes2_.volume AS volume0_0_,
       quotes2_.quality AS quality0_0_,
       quotes2_.date AS date0_0_,
       quotes2_.createdDate AS createdD7_0_0_,
       quotes2_.fetcher AS fetcher0_0_
FROM stock this_
LEFT OUTER JOIN quote quotes2_ ON this_.stockId=quotes2_.stockId
AND quotes2_.date > 1322910573000
WHERE this_.stockId='AAPL'
ORDER BY quotes2_.date ASC

Результаты:

• Время выполнения на сервере mysql: ~10 мс
• Время выполнения в Java: ~400 мс

Пример 2: Hibernate без ассоциации без HQL

Думая увеличить производительность, мы использовали код, который извлекает только объекты котировок и вручную добавляет их к акции (таким образом, мы не извлекаем повторяющуюся информацию об акции для каждой строки). Мы использовали createSQLQuery, чтобы минимизировать влияние псевдонимов и HQL.

String filter = " AND q.date>1322910573000";
filter += " ORDER BY q.date DESC";
Stock stock = new Stock(stockId);
stock.addQuotes((ArrayList<Quote>) session.createSQLQuery("select * from quote q where stockId='" + stockId + "' " + filter).addEntity(Quote.class).list());

SQL сгенерирован :

SELECT *
FROM quote q
WHERE stockId='AAPL'
  AND q.date>1322910573000
ORDER BY q.date ASC

Результаты :

• Время выполнения на mysql-сервере: ~10 мс
• Время выполнения на Java: ~370 мс

Случай 3 : JDBC без Hibernate

String filter = " AND q.date>1322910573000";
filter += " ORDER BY q.date DESC";
Stock stock = new Stock(stockId);
Connection conn = SimpleJDBC.getConnection();
Statement stmt = conn.createStatement();
ResultSet rs = stmt.executeQuery("select * from quote q where stockId='" + stockId + "' " + filter);
while(rs.next())
{
    stock.addQuote(new Quote(rs.getInt("volume"), rs.getLong("date"), rs.getFloat("value"), rs.getByte("fetcher")));
}
stmt.close();
conn.close();

Результаты :

• Время выполнения на сервере mysql : ~10 мс
• Время выполнения на Java : ~100 мс

Наши понимания

• Драйвер JDBC является общим для всех случаев
• Есть фундаментальные временные затраты на JDBC
• С аналогичными sql запросами, Hibernate тратит больше времени, чем чистый JDBC код на преобразование наборов результатов в объекты
• Hibernate createCriteria, createSQLQuery или createQuery аналогичны по временным затратам
• В производстве, где у нас много одновременных записей, чистое JDBC решение казалось медленнее, чем hibernate (возможно, потому что наши JDBC решения не были объединены в пул)
• В Mysql сервер, кажется, ведет себя очень хорошо, и временные затраты очень приемлемы

Наши вопросы

• Есть ли способ оптимизировать производительность JDBC драйвера?
• И поможет ли Hibernate эта оптимизация?
• Есть ли способ оптимизировать производительность Hibernate при преобразовании наборов результатов?
• Мы столкнулись с чем-то не настраиваемым из-за фундаментального управления объектами и памятью Java?
• Мы что-то упустили, мы глупы и все это напрасно?
• Мы не ошиблись? Да.

Ваша помощь очень приветствуется.