Задание Spark не работает, когда JAR находится в HDFS
Проблема возникает из-за того, что 31.12.1899 не является переработанной датой в Excel. Дата excel - это число и начинается с 0 = 00.01.1900
. Поэтому, если вы замените 31.12..1899 на 01.01.1900, ваша формула будет работать.
1 ответ
Не могли бы вы уточнить, что такое локальный режим. Существует только два клиента в режиме развертывания и кластер, единственное отличие состоит в том, что в режиме клиента программа драйвера будет работать в системе, а в режиме кластера программа драйвера будет запускаться со случайного узла в кластере.
Для команды spark submit:
При выполнении команды spark submit spark извлекает все локальные ресурсы / файлы, определенные с помощью аргумента --files, --py-files, а также Spark Main Jar во временную HDFS. каталог / location, который создается этим конкретным приложением spark с именем приложения. когда вы указываете расположение HDFS, он не сможет найти Jar на локальном компьютере. Хранить банку обязательно на местном уровне.