Благодаря Рику М. я смог выяснить, что мои версии были слишком свежими и плохо работали друг с другом. Конфигурация, которую я использовал, работала так:
Python 3.5 или 3.7.2 (последняя на 01/23/2019)
Pyinstaller 3.4
numpy 1.15
Я использую ctrl+8 для отключения resharper для файла.
С ReSharper 5 это было изменено на ctrl+shift+alt+8.