Каков правильный способ чтения JScript-файла Spark Session? [Дубликат]

Давайте посмотрим на лес сначала, прежде чем смотреть на деревья.

Здесь есть много информативных ответов с большими подробностями, я не буду повторять ни одного из них. Ключ к программированию в JavaScript имеет сначала правильную ментальную модель общего исполнения.

  1. Ваша точка входа (ов) выполняется в результате события. Например, в браузер загружается тег сценария с кодом. (Соответственно, поэтому вам, возможно, придется заботиться о готовности страницы запускать ваш код, если он требует, чтобы элементы dom были сконструированы первыми и т. Д.)
  2. Ваш код выполняется до завершения, однако многие асинхронные вызовы, которые он делает, без выполнения каких-либо ваших обратных вызовов, включая запросы XHR, установку тайм-аутов, обработчиков событий dom и т. д. Каждый из этих обратных вызовов, ожидающих выполнения, будет находиться в очереди, ожидая, что их очередь будет запущена после других событий
  3. Каждый отдельный обратный вызов XHR-запроса, установленного таймаута или dom события после вызова будет завершен.

Хорошие новости заключается в том, что, если вы хорошо понимаете этот момент, вам никогда не придется беспокоиться о гоночных условиях. Прежде всего вы должны понимать, как вы хотите упорядочить свой код как по существу ответ на разные дискретные события, и как вы хотите объединить их в логическую последовательность. Вы можете использовать обещания или новые асинхронные / ожидающие более высокие уровни в качестве инструментов для этой цели, или вы можете откатывать свои собственные.

Но вы не должны использовать какие-либо тактические инструменты для решения проблемы, пока вам не понравится актуальная проблемная область. Нарисуйте карту этих зависимостей, чтобы знать, что нужно запускать, когда. Попытка ad-hoc подхода ко всем этим обратным вызовам просто не поможет вам.

12
задан herman 14 July 2014 в 12:42
поделиться

6 ответов

Каждый узел должен содержать целый файл. В этом случае локальная файловая система будет логически неотличима от HDFS в отношении этого файла.

8
ответ дан David Gruzman 24 August 2018 в 18:38
поделиться

Из страницы часто задаваемых вопросов Spark. Если вы не используете Hadoop / HDFS, «если вы запускаете в кластере, вам понадобится некоторая форма общей файловой системы (например, NFS, установленная на одном пути на каждом узле). Если у вас есть этот тип файловой системы, вы можете просто развернуть Spark в автономном режиме. "

https://spark.apache.org/faq.html

1
ответ дан gneets 24 August 2018 в 18:38
поделиться

Добавьте «файл: ///» uri вместо «file: //». Это решило проблему для меня.

1
ответ дан KayV 24 August 2018 в 18:38
поделиться

Spark-1.6.1

Java-1.7.0_99

Узлы в кластере-3 (HDP).

Case 1:

Running in local mode local[n]

file:///.. и file:/.. считывает файл из локальной системы

Case 2:

`--master yarn-cluster`

Input path does not exist: for file:/ and file://

И для file://

java.lang.IllegalArgumentException :Wrong FS: file://.. expected: file:///

1
ответ дан Ketan Keshri 24 August 2018 в 18:38
поделиться

Правильный способ использования - с тремя косой чертой. Два для синтаксиса (например, http: //) и один для точки монтирования файловой системы Linux, например sc.textFile (файл: ///home/worker/data/my_file.txt). Если вы используете локальный режим, достаточно только файла. В случае автономного кластера файл должен быть скопирован на каждом узле. Обратите внимание, что содержимое файла должно быть точно таким же, иначе искра возвращает смешные результаты.

2
ответ дан Manu Prakash 24 August 2018 в 18:38
поделиться

добавить file:// к вашему локальному пути к файлу

4
ответ дан Prasad Khode 24 August 2018 в 18:38
поделиться
Другие вопросы по тегам:

Похожие вопросы: