регрессионное тестирование всего приложения на Python

У меня есть небольшое приложение командной строки (около 6k строк).В нем нет модульных тестов, потому что я не знал, как их писать; но я задним числом добавляю кое-что сейчас. Я прочитал это руководство , но остался озадачен тем, как протестировать все приложение с помощью этого модуля; Фактически, я даже не уверен, что то, что я хочу сделать, называется «модульным тестом».

В частности, если я запускаю свое приложение с определенными параметрами, оно должно генерировать определенные выходные файлы. Я хочу убедиться, что эти выходные файлы не изменились.

А именно, следующие вызовы моего приложения из командной строки:

main.py config1.txt 100 15
main.py config2.txt def 10 qa
etc.....

создать несколько небольших выходных текстовых файлов (

output/config1.100.15.201202011733/
output/config2.def.10.qa.201202011733/
etc...

Каждая папка содержит несколько небольших текстовых файлов (

Как лучше всего это настроить?