Из doc :
./bin/spark-shell --master local[2]
Параметр --master указывает мастер-адрес для распределенного кластера или локальный для локального запуска с одним потоком, или локальный [N] для локального запуска с N потоками. Вы должны начать с использования локального для тестирования.
И из здесь :
local [*] Запустить Spark локально с as многие рабочие потоки как логические ядра на вашей машине.