Файл Global.asax отсутствует в моем проекте пустого веб-приложения Asp.Net

Выйди в это сегодня на работе. Администратор счел разумным использовать жесткий код Python 2.7 как PYSPARK_PYTHON и PYSPARK_DRIVER_PYTHON в $SPARK_HOME/conf/spark-env.sh. Излишне говорить, что это сломало все наши рабочие места, которые используют любые другие версии или среды python (что составляет> 90% наших рабочих мест). @PhillipStich правильно указывает, что у вас могут не всегда быть разрешения на запись для этого файла, как и в нашем случае. Хотя настройка конфигурации в вызове spark-submit является опцией, другая альтернатива (при запуске в режиме пряжи / кластера) заключается в установке переменной среды SPARK_CONF_DIR для указания на другой сценарий конфигурации. Там вы можете установить PYSPARK_PYTHON и любые другие параметры, которые могут вам понадобиться. Шаблон можно найти в исходном коде spark_env.sh на github .

22
задан Selva 23 October 2014 в 19:30
поделиться