Устаревшая опция low_memory

Параметр low_memory устарел неправильно, но он должен быть, поскольку он фактически не делает ничего по-другому [ source ]

Причина, по которой вы получаете это предупреждение low_memory, состоит в том, что угадывание dtypes для каждого столбца очень требует памяти. Pandas пытается определить, какой dtype задавать, анализируя данные в каждом столбце.

Dtype Guessing (очень плохо)

Pandas может определять только то, что должен иметь столбец dtype после всего файла читается. Это означает, что ничего не может быть проанализировано до того, как весь файл будет прочитан, если вы не рискуете изменить dtype этого столбца при чтении последнего значения.

Рассмотрим пример одного файла с столбцом user_id , Он содержит 10 миллионов строк, где user_id всегда является числом. Поскольку панды не могут знать, что это только цифры, это, вероятно, сохранит их как исходные строки, пока не прочитает весь файл.

Задание типов dtypes (всегда должно быть сделано)

/ g15]

dtype={'user_id': int}

к вызову pd.read_csv() заставит pandas знать, когда он начнет считывать файл, что это только целые числа.

Также стоит отметить что если бы последняя строка в файле имела бы "foobar", записанную в столбце user_id, загрузка была бы сбой, если указан указанный выше тип dtype.

Пример разбитых данных, которые ломаются, когда определены типы dtypes

import pandas as pd
from StringIO import StringIO


csvdata = """user_id,username
1,Alice
3,Bob
foobar,Caesar"""
sio = StringIO(csvdata)
pd.read_csv(sio, dtype={"user_id": int, "username": object})

ValueError: invalid literal for long() with base 10: 'foobar'

dtypes, как правило, многозначительные вещи, подробнее о них здесь: http://docs.scipy.org/doc/numpy/reference/generated/numpy.dtype.html

Какие существуют типы dtypes?

Это numpy dtypes, которые также принимаются в pandas

[numpy.generic,
 [[numpy.number,
   [[numpy.integer,
     [[numpy.signedinteger,
       [numpy.int8,
        numpy.int16,
        numpy.int32,
        numpy.int64,
        numpy.int64,
        numpy.timedelta64]],
      [numpy.unsignedinteger,
       [numpy.uint8,
        numpy.uint16,
        numpy.uint32,
        numpy.uint64,
        numpy.uint64]]]],
    [numpy.inexact,
     [[numpy.floating,
       [numpy.float16, numpy.float32, numpy.float64, numpy.float128]],
      [numpy.complexfloating,
       [numpy.complex64, numpy.complex128, numpy.complex256]]]]]],
  [numpy.flexible,
   [[numpy.character, [numpy.bytes_, numpy.str_]],
    [numpy.void, [numpy.record]]]],
  numpy.bool_,
  numpy.datetime64,
  numpy.object_]]

Pandas также добавляет два типа dtypes: categorical и datetime64[ns, tz], которые недоступны в numpy

Ссылка на pandas dtype

Gotchas, оговорки, примечания

Settin g dtype=object отключит вышеуказанное предупреждение, но не сделает его более эффективным с точки зрения памяти, только эффективно.

Настройка dtype=unicode ничего не сделает, поскольку до numpy, unicode представленный как object.

Использование преобразователей

@sparrow правильно указывает на использование преобразователей, чтобы избежать взрыва панд при столкновении 'foobar' в столбце, указанном как int , Я хотел бы добавить, что преобразователи действительно тяжелы и неэффективны для использования в пандах и должны использоваться в качестве последнего средства. Это связано с тем, что процесс read_csv представляет собой один процесс.

Файлы CSV могут обрабатываться по строкам и, следовательно, могут быть обработаны несколькими преобразователями параллельно более эффективно, просто разбивая файл на сегменты и запуская несколько процессов, то, что панды не поддерживают. Но это совсем другая история.