Настроить или переопределить eTag по умолчанию в AWS S3

Невозможно получить доступ к:

• структурам распределенных данных (например, Dataset или RDD).
• SparkConext / SparkSession

из задачи Spark (преобразование, udf). Вот почему вы получаете NPE.