Используя снег (и снегопад) с AWS для параллельной обработки в R

В связи с моим предыдущим похожим SO вопросом , я попытался использовать снег/снег на AWS для параллельных вычислений.

Я сделал следующее:

  • В функции sfInit() я предоставил публичный параметр DNS для socketHosts, примерно так sfInit(parallel=TRUE,socketHosts =list("ec2-00-00-00-000.compute-1.amazonaws.com"))
  • Возвращаемая ошибка была Разрешение отказано (publickey)
  • Затем я последовал инструкциям (я полагаю, правильно!) на http://www.imbi.uni-freiburg. de/parallel/ в разделе 'Passwordless Secure Shell (SSH) login'
  • Я просто записал содержимое .pem файла, который я создал на AWS в ~/.ssh/authorized_keys экземпляра AWS, к которому я хочу подключиться из моего master AWS экземпляра, а также для master AWS экземпляра

Есть ли что-нибудь, что я пропустил ? Я был бы очень признателен, если бы пользователи могли поделиться своим опытом использования снега в AWS.

Большое спасибо за ваши предложения.

UPDATE: Я просто хотел обновить решение, которое я нашел, до своей конкретной проблемы:

  • Я использовал StarCluster для установки своего кластера AWS : StarCluster
  • Installed package snowfall на всех узлах кластера
  • С главного узла выдал следующие команды
  • hostslist
  • sfInit(parallel=TRUE, cpus=2, type="SOCK",socketHosts=hostslist)
  • l
  • lapply(l,function(x)x[2])
  • sfStop()
  • Информация ip подтвердила, что узлы AWS использовались

7
задан Community 23 May 2017 в 12:22
поделиться