Это случилось со мной с Spark 2.3 с Hadoop, также установленным под общим домашним каталогом пользователя «hadoop». Поскольку оба Spark и Hadoop были установлены под одним и тем же общим каталогом, Spark по умолчанию рассматривает схему как hdfs
и начинает поиск входных файлов в hdfs, как указано в fs.defaultFS
в Hadoop core-site.xml
. В таких случаях нам нужно явно указать схему как file:///<absoloute path to file>
.