Использование многоядерности и памяти в R под Ubuntu
инкременты x.y.z.g
в g нестабильны. (или RCs), инкременты в z являются стабильными и средними исправлениями ошибок.
инкременты в y являются стабильными и средними новыми возможностями.
инкременты в x являются стабильной, главной версией без 100%-й обратной совместимости.
1 ответ
Вещи, которые я пробовал на Ubuntu 64 bit R, ранжировались в порядке успеха:
-
Работайте с меньшим количеством ядер, как и вы.
-
Разделите задания mclapply на части и сохраните частичные результаты в базе данных, используя DBI с append = TRUE.
-
Используйте функцию
rmвместе сgc()часто
Я перепробовал все это, и mclapply все еще начинает создавать все более и более крупные процессы по мере выполнения Это заставляет меня подозревать, что каждый процесс удерживает какую-то остаточную память, которая ему действительно не нужна.
П.С. Я использовал data.table, и кажется, что каждый дочерний процесс копирует data.table.