Scikit и Pandas :Подгонка больших данных

Этот вопрос был перенесен из Cross Validated, поскольку на него можно ответить в Stack Overflow. Перенесено7 лет назад.

Как с помощью scikit -научиться обучать модель на больших CSV-данных (~75 МБ )без проблем с памятью?

Я использую блокнот IPython в качестве среды программирования и пакеты pandas+sklearn для анализа данных из учебника по распознаванию цифр kaggle.

Данные доступны на веб-странице , ссылка на мой код , а вот сообщение об ошибке :

KNeighborsClassifierиспользуется для предсказания.

Задача:

"MemoryError" occurs when loading large dataset using read_csv function. To bypass this problem temporarily, I have to restart the kernel, which then read_csv function successfully loads the file, but the same error occurs when I run the same cell again.

Когда функция read_csvуспешно загружает файл, после внесения изменений в dataframeя могу передать функции и метки функции fit ()KNeighborsClassifier. В этот момент возникает аналогичная ошибка памяти.

Я попробовал следующее:

Перебирайте CSV-файл по частям и соответствующим образом сопоставляйте данные, но проблема в том, что прогностическая модель каждый раз перезаписывается для части данных.

Как вы думаете, что я могу сделать, чтобы успешно обучить свою модель, не сталкиваясь с проблемами памяти?

задан piRSquared 5 January 2017 в 00:10

0 ответов

Другие вопросы по тегам:

classification scikit-learn pandas memory machine-learning

Scikit и Pandas :Подгонка больших данных

0 ответов

Похожие вопросы: