Натч на ЭМИ проблемы чтения из S3

Здравствуйте, я пытаюсь запустить Apache Nutch 1.2 на EMR Amazon.
Для этого я специфицирую входной каталог из S3. Я получаю следующую ошибку:

Fetcher: java.lang.IllegalArgumentException:
    This file system object (hdfs://ip-11-202-55-144.ec2.internal:9000)
    does not support access to the request path 
    's3n://crawlResults2/segments/20110823155002/crawl_fetch'
    You possibly called FileSystem.get(conf) when you should have called
    FileSystem.get(uri, conf) to obtain a file system supporting your path.

Я понимаю разницу между FileSystem.get(uri, conf) и FileSystem.get(conf). Если бы я писал это сам, я бы FileSystem.get(uri, conf), однако я пытаюсь использовать существующий Nutch код.

Я задал этот вопрос, и кто-то сказал мне, что мне нужно модифицировать hadoop-site.xml, чтобы включить в него следующие свойства: fs.default.name, fs.s3.awsAccessKeyId, fs.s3.awsSecretAccessKey. Я обновил эти свойства в core-site.xml (hadoop-site.xml не существует), но это ничего не изменило. Есть ли у кого-нибудь другие идеи? Спасибо за помощь.

6
задан Peter H 30 August 2011 в 17:42
поделиться