Почему spark-submit и spark-shell не работают с & ldquo; Не удалось найти JAR сборки Spark. Вам нужно собрать Spark перед запуском этой программы. & Rdquo ;?
Это не работает.
Вы не можете ожидать, что объекты запроса будут распределены, а ответы будут собраны по кластеру другими узлами. Если вы это сделаете, то искра призывает к будущему никогда не закончится.
Если ваша карта () выполняет запросы синхронизации (http), то, пожалуйста, собирайте ответы в одном и том же вызове действий / преобразовании, а затем укажите результаты (ответы) для дальнейшей карты / уменьшить / другие вызовы.
В вашем случае перепишите логику, чтобы собрать ответы для каждого вызова в синхронизации и удалить понятие фьючерсов, тогда все должно быть хорошо.
7 ответов
Ваш пакет Spark не включает скомпилированный код Spark. Вот почему вы получили сообщение об ошибке из этих сценариев spark-submit и spark-shell.
Вы должны загрузить одну из готовых версий в разделе «Выберите тип пакета» на странице загрузки Spark .
Просто чтобы добавить к @ jurban1997 ответ.
Если вы используете Windows, убедитесь, что переменные окружения SPARK_HOME и SCALA_HOME настроены правильно. SPARK_HOME должен указывать на {SPARK_HOME} \ bin \ spark-shell.cmd
В Windows я обнаружил, что если он установлен в каталоге с пробелом в пути (C: \ Program Files \ Spark), установка завершится неудачно. Переместите его в корень или другой каталог без пробелов.
Попробуйте сначала запустить mvn -DskipTests clean package, чтобы построить Spark.
Если ваши искровые двоичные файлы находятся в папке, где в имени папки есть пробелы (например, «Program Files (x86)»), это не сработало. Я изменил его на «Program_Files», тогда команда spark_shell работает в cmd.
Если вы скачали бинарный файл и получили это исключение
Тогда, пожалуйста, проверьте, что ваш путь Spark_home может содержать пробелы типа «apache spark» / bin
Просто удалить пробелы будет работать.
Spark Установка:
Для оконного станка:
Download spark-2.1.1-bin-hadoop2.7.tgz from this site https://spark.apache.org/downloads.html Unzip and Paste your spark folder in C:\ drive and set environment variable. If you don’t have Hadoop, you need to create Hadoop folder and also create Bin folder in it and then copy and paste winutils.exe file in it. download winutils file from [https://codeload.github.com/gvreddy1210/64bit/zip/master][1] and paste winutils.exe file in Hadoop\bin folder and set environment variable for c:\hadoop\bin; create temp\hive folder in C:\ drive and give the full permission to this folder like: C:\Windows\system32>C:\hadoop\bin\winutils.exe chmod 777 /tmp/hive open command prompt first run C:\hadoop\bin> winutils.exe and then navigate to C:\spark\bin> run spark-shell