Я подключаюсь к вызову R , который постоянно взаимодействую с C ++ (например, с помощью пакетов Rcpp и RInside ).
R предпочитает все данные в памяти, поэтому вы, вероятно, захотите использовать 64-битную ОС и приличный объем ОЗУ для большого количества данных. Task View по высокопроизводительным вычислениям с R содержит некоторые указания по работе с большими данными.
Наконец, для быстрой визуализации hexbin отлично подходит для визуального суммирования больших наборов данных. . Для масштабирования и т. Д. Попробуйте пакет rgl .
Почему бы вам не взглянуть на R , который может напрямую связываться с кодом C, образуя таким образом мост. R был разработан с учетом статистического кода, но может очень легко помочь не только обрабатывать большие наборы данных, но и визуализировать их. Есть довольно много ученых-атмосферников, которые используют R в своей работе. Я знаю, я работаю с ними именно над тем, что вы пытаетесь делать. Думайте о R как о Matlab для бедняков или IDL (но скоро им не станет).
В духе ответов R, ROOT также обеспечивает хорошую структуру восстановления для такого рода вещей.
Возможные полезные функции: