Как мне написать правильный микро-тест в Java?

При попытке сравнить два алгоритма, сделайте по крайней мере два сравнительных теста для каждого, чередовав порядок. т.е.:

for(i=1..n)
  alg1();
for(i=1..n)
  alg2();
for(i=1..n)
  alg2();
for(i=1..n)
  alg1();

я нашел некоторые заметные различия (5-10% иногда) во времени выполнения того же алгоритма в различных передачах..

кроме того, удостоверьтесь, что n является очень большим, так, чтобы время выполнения каждого цикла было по крайней мере 10 секундами или около этого. Больше повторений, более значащие цифры в Ваше время сравнительного теста и более надежное, которое данные.

сравнительный тест должен измерить время/повторение или повторения/время, и почему?

Это зависит от , что Вы пытаетесь протестировать.

, Если Вы интересуетесь задержка , используйте время/повторение и если Вы интересуетесь пропускная способность , используйте повторения/время.

Удостоверьтесь, что Вы так или иначе используете результаты, которые вычисляются в сравниваемом коде. Иначе Ваш код может быть оптимизирован далеко.

Важные вещи для сравнительных тестов Java:

• Нагревают JIT сначала путем выполнения кода несколько раз прежде, чем синхронизировать , он
• Удостоверяется, что Вы выполняете его довольно долго, чтобы смочь измерить результаты в секундах или (лучших) десятках секунд
• , В то время как Вы не можете звонить System.gc() между повторениями, это - хорошая идея выполнить его между тестами, так, чтобы каждый тест, надо надеяться, заставил "чистое" пространство памяти работать с. (Да, gc() больше подсказки, чем гарантия, но это очень вероятно , что она действительно соберет "мусор", по моему опыту.)
• мне нравится отображать повторения и время и счет времени/повторения, которое может масштабироваться таким образом, что "лучший" алгоритм получает счет 1,0, и другие выиграны относительным способом. Это означает, что можно работать весь алгоритмы в течение длинноватого времени, варьируясь и количество повторений и время, но все еще получая сопоставимые результаты.

я нахожусь только в процессе блоггинга о дизайне платформы сравнительного тестирования в.NET. Я имею пара из более ранние сообщения , который может давать Вам некоторое представление - не все будет соответствующим, конечно, но часть ее может быть.

Существует много возможных ловушек для записи микросравнительных тестов в Java.

Сначала: необходимо вычислить со всеми видами событий, которые занимают время более или менее случайные: Сборка "мусора", кэшируя эффекты (ОС для файлов и ЦП для памяти), IO и т.д.

Треть: JVM оптимизирует Ваш код при выполнении. Таким образом, различные выполнения в том же экземпляре JVM станут быстрее и быстрее.

Мои рекомендации: Сделайте свой контрольный прогон несколькими секундами, который более надежен, чем время выполнения по миллисекундам. Нагрейтесь JVM (означает выполнять сравнительный тест, по крайней мере, однажды без измерения, что JVM может выполнить оптимизацию). И выполненный Ваш сравнительный тест многократно (возможно, 5 раз) и берут среднее значение. Работайте каждый микросравнительный тест в новом экземпляре JVM (призовите к каждому сравнительному тесту новый Java), иначе, эффекты оптимизации JVM могут влиять позже на запускающие тесты. Не выполняйте вещи, которые не выполняются в фазе прогрева (поскольку это могло инициировать загрузку класса и перекомпиляцию).