Вот расширение JUnit, которое может вызвать желаемое поведение: https://github.com/aafuks/aaf-junit
Я знаю, что это противоречит авторы философии JUnit, но при использовании JUnit в средах, которые не являются строгим модульным тестированием (как это практикуется на Java), это может быть очень полезно.