Вопросы Теги

Можно ли удалить каталог HDFS с помощью Apache Spark (Java)? [Дубликат]

9
задан Juh_ 27 February 2015 в 16:26
поделиться

2 ответа

Я делаю это следующим образом: 

    Configuration conf = new Configuration();
    conf.set("fs.hdfs.impl",org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());
    conf.set("fs.file.impl",org.apache.hadoop.fs.LocalFileSystem.class.getName());
    FileSystem  hdfs = FileSystem.get(URI.create("hdfs://<namenode-hostname>:<port>"), conf);
    hdfs.delete("/path/to/your/file", isRecursive);

вам не нужно hdfs://hdfshost:port/ в вашем пути к файлу

9
ответ дан screenmutt 25 August 2018 в 18:47
поделиться

Этот сайт работает для меня.

Просто добавьте следующие коды в мою программу WordCount : 

import org.apache.hadoop.fs.*;

...
Configuration conf = new Configuration();

Path output = new Path("/the/folder/to/delete");
FileSystem hdfs = FileSystem.get(conf);

// delete existing directory
if (hdfs.exists(output)) {
    hdfs.delete(output, true);
}

Job job = Job.getInstance(conf, "word count");
...

Вам не нужно явно добавлять hdfs://hdfshost:port.

15
ответ дан Jun 25 August 2018 в 18:47
поделиться
Другие вопросы по тегам:

Похожие вопросы: