Кто-нибудь может посоветовать альтернативу импорту пары Гбайт числовых данных (в формате .mx) из списка из 60 файлов .mx, каждый размером около 650 МБ?
Проблема исследования - слишком большая для публикации здесь - включала простые статистические операции. с вдвое большим объемом данных (около 34), чем доступной оперативной памяти (16). Чтобы справиться с проблемой размера данных, я просто разделил их и использовал стратегия Get / Clear для вычисления.
Это работает, но вызов Get ["bigfile.mx"]
занимает довольно много времени, поэтому мне было интересно, будет ли быстрее использовать большие двоичные объекты или что-то еще с PostgreSQL, MySQL или другими пользователями баз данных использовать для ГБ числовых данных.
Мой вопрос действительно таков: Каков наиболее эффективный способ обработки импорта действительно больших наборов данных в Mathematica?
Я еще не пробовал, но думаю, что SQLImport из DataBaseLink будет медленнее, чем Get ["bigfile.mx" ]
.
У кого-нибудь есть опыт, которым можно поделиться?
(Извините, если это не очень конкретный вопрос программирования, но он действительно помог бы мне продолжить это трудоемкое выяснение-что-лучше- -из-137-возможностей-решить-проблему-в-Математике).