Раскрась все вхождения строки в swift

Хотя Spark поддерживает загрузку файлов из локальной файловой системы, для этого требуется, чтобы файлы были доступны по одному пути на всех узлах вашего кластера.

Некоторые сетевые файловые системы, такие как NFS, AFS и NFS-уровень MapR, отображаются пользователю как обычная файловая система.

Если ваши данные уже находятся в одной из этих систем, вы можете использовать их в качестве ввода, просто указав путь : // ; Spark будет обрабатывать его, пока файловая система монтируется по одному пути на каждом узле. Каждый узел должен иметь один и тот же путь

 rdd = sc.textFile("file:///path/to/file")

Если ваш файл еще не на всех узлах кластера, вы можете загрузить его локально в драйвере без прохождения Spark, а затем вызвать распараллеливание для распространения содержимое для рабочих

Постарайтесь поместить файл: // спереди и использование «/» или «\» в соответствии с ОС.

13
задан Kevin 28 November 2014 в 11:26
поделиться