Вы можете добавить пакетный скрипт (в виде запуска cmd -c), который должен быть выполнен в конце установки, который ждет, когда файл будет удален и удалит его. (просто убедитесь, что параметр inno не дождался завершения процесса cmd)
Вы также можете сделать свою установленную программу обнаруженной и удалить ее при первом выполнении.