Классы зависимостей вашего приложения должны быть указаны в параметре application-jar вашей команды запуска.
Более подробную информацию можно найти в документации Spark
. Из документации:
application-jar: Путь к объединенной банке, включая ваше приложение и все зависимости. URL-адрес должен быть глобально видимым внутри вашего кластера, например, путь hdfs: // или путь к файлу: //, который присутствует на всех узлах