pgAdmin Создать переменную [дубликат]

Добавьте следующий JVM arg при запуске spark-shell или spark-submit:

-Dspark.executor.memory=6g

Вы также можете явно указать количество рабочих при создании экземпляра SparkContext:

Распределенный кластер

Задайте имена подчиненных в conf/slaves:

val sc = new SparkContext("master", "MyApp")