Вот как вы могли бы сделать это с помощью регулярного выражения (возможно, не рекомендуется):
pd.read_csv(StringIO(re.sub(',+',',',df.to_csv())))
Out[20]:
Name h1 h2 h3 h4
0 A 1 2 3 NaN
1 B 1 3 NaN NaN
2 C 1 3 2 NaN
можно перезапустить команду, и это возобновится. Я использую все это время по сети. Работы над большими файлами также.
Я физически переместил бы твердый dsk, если это возможно.
Если необходимо переместить его через сеть, Вы хотите использовать FTP между серверами. Windows File system увязнет с болтливыми протоколами.
Я нашел, что быстрая копия довольно хороша для этого вида вещи. Это - gui инструмент....
Я нашел Teracopy быть довольно быстрым и удобным. Предположительно Fastcopy (как предложенный benlumley) еще быстрее, но у меня нет опыта с ним.
Попытайтесь использовать WinRar или инструмент архивирования. Большие "файлы" перемещены более быстрые, чем много маленьких. Большинство инструментов архивирования позволяет разделять архив (zip) файлы в несколько архивов.
Вы могли бы даже уменьшить размер немного при включении сжатия.
Командная строка: xcopy является, вероятно, Вашим лучшим выбором
Ссылка Команды: http://www.computerhope.com/xcopyhlp.htm