Вы можете искать переменную окружения искровой конфигурации, такую как «spark.home» и значение как / databricks / spark
python: sc. _conf.get («spark.home»)
результат: '/ databricks / spark'