Как передать параметр в spark submit, который не начинается с spark

Аргументы Spark conf разработаны специально для конфигурации Spark (ключи, которые вы могли бы в противном случае поместить в spark-defaults.conf).

Их нельзя использовать с общими свойствами (хотя можно использовать префикс spark с вашей пользовательской конфигурацией, если он не конфликтует с реальной конфигурацией Spark).

Если вы хотите предоставить общую конфигурацию, имеет смысл использовать Spark-независимые утилиты, специфичные для вашего языка.