Как смонтировать папку на экземпляре amazon ec2 с закрытым ключом с помощью sshfs

Если вы используете Spark в более крупной организации и не можете обновить файл /spark-env.sh, экспорт переменных среды может не сработать.

Вы можете добавить определенные параметры искры через --conf при отправке задания во время выполнения.

pyspark --master yarn --[other settings]\ 
  --conf "spark.pyspark.python=/your/python/loc/bin/python"\ 
  --conf "spark.pyspark.driver.python=/your/python/loc/bin/python"