Основной URL-адрес Значение
local: Запустить Spark локально с одним рабочим потоком (т. е. никакой параллелизм вообще).
local [K]: Запустить Spark локально с рабочими потоками K (в идеале установите это количество ядер на вашем компьютере).
local [K, F]: Запустить Spark локально с K рабочим потоки и F maxFailures (см. spark.task.maxFailures для объяснения этой переменной)
local [*]: Запустить Spark локально с таким количеством рабочих потоков, что и логические ядра на вашем компьютере.
local [*, F]: Запустите Spark локально с таким количеством рабочих потоков, что и логические ядра на вашей машине, и F maxFailures.
spark: // HOST: PORT : Подключитесь к данному автономному кластеру Spark. Порт должен быть в зависимости от того, какой ваш мастер сконфигурирован для использования, по умолчанию это 7077.
spark: // HOST1: PORT1, HOST2: PORT2: подключиться к данному автономному кластеру Spark в режиме ожидания мастеров с Zookeeper. Список должен иметь все главные хосты в кластере высокой доступности, настроенном на Zookeeper. Порт должен быть в зависимости от того, какой из мастеров сконфигурирован для использования, который по умолчанию равен 7077.
mesos: // HOST: PORT: подключиться к данному кластеру Mesos. Порт должен быть в зависимости от того, какой из них настроен для использования, по умолчанию 5050. Или, для кластера Mesos с использованием ZooKeeper, используйте mesos: // zk: // .... Чтобы отправить в кластер -deploy-mode, HOST: PORT следует настроить для подключения к MesosClusterDispatcher.
. Подключиться к кластеру YARN в режиме клиента или кластера в зависимости от значения --deploy-mode. Местоположение кластера будет найдено на основе переменной HADOOP_CONF_DIR или YARN_CONF_DIR.
https://spark.apache.org/docs/latest/submitting-applications.html