Почему искра занимает время, чтобы выделить исполнителей и память перед отправкой задания [дублировать]
вы также можете использовать это:
.dropdown {
height: 0px;
width: 0px;
opacity: .0;
color: white;
}
.dropdown:hover {
height: 20px;
width: 50px;
opacity: 1;
transition: opacity 200ms;
/* Safari */
-webkit-transition: opacity 200ms;
}
4 ответа
Это довольно типично. Моя система занимает около 20 секунд от запуска spark-submit до получения SparkContext.
Как говорится в документах в нескольких местах, решение состоит в том, чтобы превратить ваш драйвер в RPC-сервер. Таким образом, вы инициализируетесь один раз, а затем другие приложения могут использовать контекст драйвера как службу.
Я занимаюсь этим с помощью своего приложения. Я использую http4s и превращаю свой драйвер в веб-сервер.
-
1– zeodtr 7 May 2015 в 11:55
-
2– zeodtr 7 May 2015 в 11:57
-
3– David Griffin 7 May 2015 в 12:46
-
4– zeodtr 8 May 2015 в 01:06
-
5– David Griffin 8 May 2015 в 01:09
Для быстрого создания Spark-Context
Протестировано на EMR:
-
cd /usr/lib/spark/jars/; zip /tmp/yarn-archive.zip *.jar -
cd path/to/folder/of/someOtherDependancy/jarFolder/; zip /tmp/yarn-archive.zip jar-file.jar -
zip -Tv /tmp/yarn-archive.zipдля целостности теста и расширенной отладки - , если
yarn-archive.zipуже существует в hdfs, тогдаhdfs dfs -rm -r -f -skipTrash /user/hadoop/yarn-archive.ziphdfs dfs -put /tmp/yarn-archive.zip /user/hadoop/elsehdfs dfs -put /tmp/yarn-archive.zip /user/hadoop/ -
--conf spark.yarn.archive="hdfs:///user/hadoop/yarn-archive.zip"использует этот аргумент вspark-submit
Причина, по которой это может сработать, мастер не должен распространять все банки на ведомые устройства.
Я понял, что он может сэкономить ваше время на 3-5 секунд, это время также зависит от количества узлов в кластере , Больше узлов, больше вы экономите время.
Если вы используете mac os для запуска некоторых задач в автономном режиме,
Просто не забудьте включить remote ssh connection в ваш system preference -> sharing (я не знаю, почему мы должны делать что)
Перед тем, как включить его, мне понадобится около 1 минуты для запуска spark-submit xx.py
. После включения его мне потребуется всего 3 секунды, чтобы запустить его.
Надеюсь, это поможет другим людям решить проблемы на платформе Mac os
Вы можете проверить Apache Livy, который является REST API перед Spark.
У вас может быть один сеанс и несколько запросов к этой сессии Spark / Livy.