Вы должны настроить параметры настройки offHeap, как показано ниже:
`val spark = SparkSession
.builder()
.master("local[*]")
.config("spark.executor.memory", "70g")
.config("spark.driver.memory", "50g")
.config("spark.memory.offHeap.enabled",true)
.config("spark.memory.offHeap.size","16g")
.appName("sampleCodeForReference")
.getOrCreate()`
Дать память памяти и память исполнительного устройства в соответствии с вашей оперативной памятью. Вы можете увеличить размер offHeap, если вы все еще сталкиваетесь с проблемой OutofMemory.
Кроме того, от командной строки выполняет НАБОР.
Это отобразило значение "LOGONSERVER", которое указывает на определенный контроллер домена, который Вы используете (может быть больше чем один).
Тогда Вы добрались до Доли NetBios того сервера \Servername\SYSVOL\domain.local\scripts.
Местоположение по умолчанию для сценариев входа в систему является долей сетевого входа в систему контроллера домена. На сервере это расположено:
%SystemRoot %'SYSVOL'sysvol '' сценарии
Это могут, по-видимому, быть изменения от этого значения по умолчанию, но я никогда не встречал никого, который имел причину для.
Для получения списка контроллеров домена программно см. эту статью: http://www.microsoft.com/technet/scriptcenter/resources/qanda/dec04/hey1216.mspx