Связь параллельных процессов :какие у меня варианты?
Я пытаюсь немного углубиться в распараллеливание подпрограмм R.
Какие у меня варианты в отношении общения кучи "рабочих" процессов в отношении
- связь между соответствующими работниками ?
- связь рабочих с "ведущим " процессом?
AFAIU, не существует такой вещи, как «общая среда/общая память », к которой имеют доступ как главный, так и все рабочие процессы, верно?
На данный момент лучшая идея, которая пришла мне в голову, — это основывать общение на чтении и записи документов JSON на жесткий диск. Вероятно, это плохая идея; -)Я выбрал .jsonвместо .Rdataфайлов, потому что JSON, по-видимому, часто используется для связи между -программами, поэтому я решил придерживаться этого «стандарта».
С нетерпением ждем возможности узнать о лучших вариантах!
К вашему сведению :Я обычно распараллеливаю на основе функций базового пакета parallel и пакета contrib snowfall , в основном полагаясь на функцию sfClusterApplyLB()для выполнения работы
РЕДАКТИРОВАТЬ
Я должен был указать, что я работаю в Windows, но ответы/подсказки на основе Linux -также очень ценятся!