Каковы преимущества 64-разрядного процессора?
Решение, если нужно создать один большой DataFrame, если необходимо обрабатывать все данные сразу (возможно, но не рекомендуется ):
Затем используйте concat для всех фрагментов в df, потому что тип вывода функции:
df = pd.read_csv('Check1_900.csv', sep='\t', iterator=True, chunksize=1000)
не является фреймворком данных, а pandas.io.parsers.TextFileReader - источником .
tp = pd.read_csv('Check1_900.csv', sep='\t', iterator=True, chunksize=1000)
print tp
#
df = pd.concat(tp, ignore_index=True)
Я думаю, что необходимо добавить параметр игнорировать индекс в функцию concat, так как избегать двуличности индексов.
EDIT:
Но если вы хотите работать с большими данными, такими как агрегирование, гораздо лучше использовать dask , поскольку он обеспечивает расширенный параллелизм.
7 ответов
Существует большая статья о Википедии о различиях и преимуществах CPU Intel/AMD на 64 бита по их версиям на 32 бита. Это должно иметь всю информацию, в которой Вы нуждаетесь.
Некоторые на основных отличиях:
- 16 регистров общего назначения вместо 8
- Дополнительные регистры SSE
- А не выполняются (NX) укусил для предотвращения нападений переполнения буфера
Основным преимуществом 64-разрядного ЦП является способность иметь 64-разрядные типы указателей, которые позволяют диапазоны виртуальных адресов, больше, чем 4 ГБ в размере. На 32-разрядном ЦП размер указателя (обычно) 32 бита шириной, позволяя указателю относиться к одному из 2^32 (4,294,967,296) дискретные адреса. Это позволяет программе делать структуру данных в памяти до 4 ГБ в размере и разрешать любой элемент данных в нем путем простого разыменования указателя. Действительность немного более сложна, чем это, но в целях этого обсуждения это - достаточно хорошее представление.
А 64-разрядный ЦП имеет 64-разрядные типы указателей, которые могут относиться к любому адресу с пространством с 2^64 (18,446,744,073,709,551,616) дискретные адреса, или 16 эксабайт. Процесс на ЦП как это может (теоретически) создать и логически обратиться к любой части структуры данных до 16 эксабайт в размере путем простого разыменования указателя (ищущий данные в адресе, сохраненном в указателе).
Это позволяет процессу на 64-разрядном ЦП работать с большим набором данных (ограниченный физической памятью), чем процесс на ЦП на 32 бита мог. С точки зрения большинства пользователей 64-разрядных систем основным преимуществом является способность к приложениям для работы с большими наборами данных в памяти.
, Кроме которого, можно получить собственный 64-разрядный целый тип. Целое число на 64 бита делает арифметические или логические операции с помощью типов на 64 бита, таких как C long long быстрее, чем один реализованный как две 32-разрядных операции. Арифметика с плавающей точкой вряд ли будет значительно затронута, поскольку FPU на самом современном 32-разрядном ЦП исходно поддерживает 64-разрядный double типы с плавающей точкой.
Любыми другими преимуществами производительности или улучшенными наборами функций является функция определенных реализаций микросхемы, а не что-то свойственное к системе, имеющей ALU на 64 бита.
Эта статья может быть полезной:
Этот немного вне темы, но мог бы помочь, если Вы планируете использовать Ubuntu:
http://ubuntuforums.org/showthread.php?t=368607
И этот PDF ниже содержит подробную техническую спецификацию:
http://www.plmworld.org/access/tech_showcase/pdf/Advantage%20of%2064bit%20WS%20for%20NX.pdf
Небольшое исправление. В 32-разрядном Windows предел составляет приблизительно 3 ГБ RAM. Я полагаю, что остающийся 1 ГБ адресного пространства резервируется для аппаратных средств. Можно все еще установить 4 ГБ, но только 3 будут доступны.
Лично я думаю любой, кто счастливо не жил с 16K на 8-разрядной ОС в прежней жизни, должно быть осторожно относительно кастинга клевет против приблизительно из сегодняшнего программного обеспечения, начинающего стать свиным. Истина - то, что как наши ресурсы становятся более многочисленными, наши ожидания - также. День не долго выключен, когда 3 ГБ начнут казаться смехотворно маленькими. До того дня придерживайтесь своей 32-разрядной ОС и быть счастливыми.
С Операционной системой на 64 бита можно обратиться к более чем 4 ГБ RAM. Это полезно для некоторых приложений.
, Например, можно загрузить большой куб данных в памяти и сократить и нарезать ее эффективнее (сейсмические данные или медицинские данные, например).
Приблизительно 1-3% скорости увеличиваются из-за параллелизма на уровне команд для 32-разрядных вычислений.
Just wanted to add a little bit of information on the pros and cons of 64-bit CPUs. https://blogs.msdn.microsoft.com/joshwil/2006/07/18/should-i-choose-to-take-advantage-of-64-bit/