Здравствуйте, я пытаюсь запустить Apache Nutch 1.2 на EMR Amazon.
Для этого я специфицирую входной каталог из S3. Я получаю следующую ошибку:
Fetcher: java.lang.IllegalArgumentException: This file system object (hdfs://ip-11-202-55-144.ec2.internal:9000) does not support access to the request path 's3n://crawlResults2/segments/20110823155002/crawl_fetch' You possibly called FileSystem.get(conf) when you should have called FileSystem.get(uri, conf) to obtain a file system supporting your path.
Я понимаю разницу между FileSystem.get(uri, conf)
и FileSystem.get(conf)
. Если бы я писал это сам, я бы FileSystem.get(uri, conf)
, однако я пытаюсь использовать существующий Nutch код.
Я задал этот вопрос, и кто-то сказал мне, что мне нужно модифицировать hadoop-site.xml
, чтобы включить в него следующие свойства: fs.default.name
, fs.s3.awsAccessKeyId
, fs.s3.awsSecretAccessKey
. Я обновил эти свойства в core-site.xml
(hadoop-site.xml
не существует), но это ничего не изменило. Есть ли у кого-нибудь другие идеи?
Спасибо за помощь.