Для больших наборов данных эффективна память для чтения только выбранных строк с помощью параметра skiprows
.
Пример
pred = lambda x: x not in [1, 3]
pd.read_csv("data.csv", skiprows=pred, index_col=0, names=...)
Подробности
Из docs :
skiprows
: list-like или integer или callable, по умолчаниюNone
...
Если вызываемый, вызываемая функция будет оцениваться по индексам строк, возвращается True, если строка должна быть пропущена, а False - в противном случае. Примером допустимого вызываемого аргумента будет
blockquote>lambda x: x in [0, 2]
Эта функция работает в версии pandas 0.20.0+. См. Также соответствующую проблему и связанную запись .