Исправлена ​​проблема с автономным кластером Spark [дубликат]

В то время как обещания и обратные вызовы хорошо работают во многих ситуациях, боль в задней части выражает нечто вроде:

if (!name) {
  name = async1();
}
async2(name);

. В итоге вы пройдете через async1; проверьте, не определено ли name или нет, и соответственно вызовите обратный вызов.

async1(name, callback) {
  if (name)
    callback(name)
  else {
    doSomething(callback)
  }
}

async1(name, async2)

Хотя в в порядке хорошо , это раздражает, когда у вас много подобных случаев и обработка ошибок.

Fibers помогает в решении проблемы.

var Fiber = require('fibers')

function async1(container) {
  var current = Fiber.current
  var result
  doSomething(function(name) {
    result = name
    fiber.run()
  })
  Fiber.yield()
  return result
}

Fiber(function() {
  var name
  if (!name) {
    name = async1()
  }
  async2(name)
  // Make any number of async calls from here
}

Вы можете проверить проект здесь .

2
задан Pankaj 28 February 2015 в 07:10
поделиться

2 ответа

Режим кластеров не поддерживается в экземплярах EC2 1.2, где он создает отдельный кластер. Следовательно, вы можете попробовать удалить

--deploy-mode cluster --supervise 
2
ответ дан Harsha 25 August 2018 в 03:12
поделиться

после траты больше времени. Я получил ответ. Я сделал ниже изменений.

  1. удалить запись SPARK_LOCAL_IP и SPARK_MASTER_IP
  2. добавить имя хоста и приватный IP-адрес каждого другие узлы в etc / hosts.
  3. используют кластер -deploy-mode --supervise

, и все отлично работает с полностью компонентами HA (Master, Slaves и Драйвер)

Спасибо

5
ответ дан Pankaj 25 August 2018 в 03:12
поделиться
Другие вопросы по тегам:

Похожие вопросы: