Не удается прочитать CSV-файл Apache Zeppelin 0.8

В настоящее время я использую Apache Zeppelin 0.8. Я попытался загрузить CSV-файл следующим образом:

val df = spark.read.option("header", "true").option("inferSchema", "true").csv("/path/to/csv/name.csv")

Я также пробовал это:

val df = spark.read.format("csv").option("header", "true").option("inferSchema", "true").load("/path/to/csv/name.csv")

Однако, он не может распечатать следующее:

org.apache.spark.SparkException: задание прервано из-за сбоя этапа: задание 0 на этапе 2.0 не выполнено 1 раз, последний сбой: потерянное задание 0.0 на этапе 2.0 (TID 2, localhost, драйвер исполнителя): java.lang.NoSuchMethodError : org.apache.hadoop.fs.FileSystem $ Statistics.getThreadStatistics () Lorg / apache / hadoop / fs / FileSystem $ Statistics $ StatisticsData;

ПРИМЕЧАНИЕ ТО: Проблема в решено ЕСЛИ Я определяю свою собственную сборку для Spark с помощью переменной env SPARK_HOME в zeppelin-env.sh . Тем не менее, я все еще хотел бы решение этого, которое не требует от меня, так как у меня есть несколько других библиотек, которые не работают с этой версией Spark.