Параметры Hough Transform с использованием EmguCV

Хотя Spark поддерживает загрузку файлов из локальной файловой системы, для этого требуется, чтобы файлы были доступны по одному пути на всех узлах вашего кластера.

Некоторые сетевые файловые системы, такие как NFS, AFS и NFS-уровень MapR, отображаются пользователю как обычная файловая система.

Если ваши данные уже находятся в одной из этих систем, вы можете использовать их в качестве ввода, просто указав путь : // ; Spark будет обрабатывать его, пока файловая система монтируется по одному пути на каждом узле. Каждый узел должен иметь один и тот же путь

 rdd = sc.textFile("file:///path/to/file")

Если ваш файл еще не на всех узлах кластера, вы можете загрузить его локально в драйвере без прохождения Spark, а затем вызвать распараллеливание для распространения содержимое для рабочих

Постарайтесь поместить файл: // спереди и использование «/» или «\» в соответствии с ОС.

0
задан acman007 16 January 2019 в 12:44
поделиться