Сначала удалите строки, содержащие NaN. Затем выполните преобразование Integer в оставшиеся строки. В конце снова вставьте удаленные строки. Надеюсь, что это сработает