Более быстрый импорт огромных данных, чем Get [«raggedmatrix.mx»]?

Кто-нибудь может посоветовать альтернативу импорту пары Гбайт числовых данных (в формате .mx) из списка из 60 файлов .mx, каждый размером около 650 МБ?

Проблема исследования - слишком большая для публикации здесь - включала простые статистические операции. с вдвое большим объемом данных (около 34), чем доступной оперативной памяти (16). Чтобы справиться с проблемой размера данных, я просто разделил их и использовал стратегия Get / Clear для вычисления.

Это работает, но вызов Get ["bigfile.mx"] занимает довольно много времени, поэтому мне было интересно, будет ли быстрее использовать большие двоичные объекты или что-то еще с PostgreSQL, MySQL или другими пользователями баз данных использовать для ГБ числовых данных.

Мой вопрос действительно таков: Каков наиболее эффективный способ обработки импорта действительно больших наборов данных в Mathematica?

Я еще не пробовал, но думаю, что SQLImport из DataBaseLink будет медленнее, чем Get ["bigfile.mx" ] .

У кого-нибудь есть опыт, которым можно поделиться?

(Извините, если это не очень конкретный вопрос программирования, но он действительно помог бы мне продолжить это трудоемкое выяснение-что-лучше- -из-137-возможностей-решить-проблему-в-Математике).

10
задан Arnoud Buzing 21 December 2011 в 16:28
поделиться