Текст в речь Python 3.7 воспроизводит только один аудиофайл, иногда без звука, используя редактор IDLE

Вы должны использовать домены приложений, нет другого способа выгрузить сборку. В основном вы должны использовать такой код:

AppDomain tempDomain = AppDomain.CreateDomain("Temp Domain");
tempDomain.Load(assembly);
AppDomain.Unload(tempDomain);