В этом случае вы можете попробовать установить параметр WorkingDir в {app} в секции [Run]. Например:
WorkingDir
{app}
[Run]
[Run] Filename: "{dotnet40}\InstallUtil.exe"; WorkingDir: "{app}"; Parameters: "WCFService.exe"