Как я могу совместно использовать память между процессами в MATLAB?

РЕДАКТИРОВАТЬ: Поместите данные в необработанный файл и используйте memmapfile (спасибо SCFrench).

============================================

Нет, реального способа сделать это нет.

Два моих лучших решения: купить больше ОЗУ или страницы в данных.

Ближайшее, что вы могли бы сделать, это использовать функцию mex для выделения разделяемой памяти, а затем разрешить последовательные вызовы функции mex для извлечения из меньших кусочков памяти. Вы бы не хотели оборачивать разделяемую память как массив Matlab (потому что модель памяти Matlab не справилась бы с этим должным образом).

Я собирался предложить изучить memmap, но, очевидно, это проблематично .

Иногда вы можете сначала запустить одну программу Matlab для предварительной обработки или разделения данных на более мелкие части.

Вероятно, нет, по крайней мере, не так, как вы обрабатываете данные как обычную переменную MATLAB.

На компьютере с Windows вы можете создать оболочку COM / ActiveX для доступа к вашим общим данным. MATLAB позволяет использовать COM-объекты через функцию actxserver . Но сомнительно, что вы действительно можете получить доступ к данным «напрямую» через различные процессы. Между MATLAB и COM существует какой-то уровень маршалинга, и данные преобразуются, по крайней мере, согласно документам Mathworks по обмену данными между MATLAB и COM . Если бы у меня абсолютно было для совместного использования структурированных данных между процессами с быстрым доступом на машине Windows, я бы, вероятно, написал что-нибудь на C ++ для использования общей памяти через Boost :: interprocess и оберните доступ к нему во внутрипроцессный COM-сервер (DLL). Я уже делал это раньше, однажды. Насколько Boost :: interprocess делает его намного проще, это боль.

Подход Java (поскольку MATLAB работает поверх Java) был бы намного более многообещающим, но, насколько я знаю, нет никаких достойные библиотеки Java для обеспечения доступа к разделяемой памяти. Ближайшим вариантом, вероятно, является использование файла с отображением в память через java.nio.MappedByteBuffer , но это действительно низкоуровневый. Тем не менее, если ваши данные имеют относительно "квадратную" форму (например, большая двумерная, трехмерная или четырехмерная матрица однородных данных), это может работать нормально.

Вы можете попробовать использовать файлы HDF5 MATLAB имеет встроенную поддержку HDF5 , и это «относительно» быстро. Но по моему опыту, HDF5 не Кажется, он очень хорошо работает с параллелизмом. (по крайней мере, когда один процесс пишет, а другие являются читателями. Если есть несколько читателей и нет писателей, все работает нормально.)

Вы можете проверить мою заявку на обмен файлами Matlab "sharedmatrix" # 28572. Это позволяет матрице Matlab существовать в общей памяти, если вы используете какой-либо вариант Unix. Затем можно было бы присоединить разделяемую матрицу к телу parfor или spmd, т. е.

shmkey=12345;
sharedmatrix('clone',shmkey,X);
clear X;
spmd(8)
    X=sharedmatrix('attach',shmkey);
    % do something with X
    sharedmatrix('detach',shmkey,X);
end
sharedmatrix('free',shmkey);

поскольку X существует в разделяемой памяти для тела spmd (или parfor), у него нет времени загрузки и времени связи. С точки зрения Matlab это вновь созданная переменная в теле spmd (или parfor).

Ура,

Джош

http://www.mathworks.com/matlabcentral/fileexchange/28572-sharedmatrix