Как я могу проверить Hadoop SequenceFile, для которого мне не хватает полной информации о схеме?
у меня есть сжатый файл последовательности Hadoop от клиента, который я хотел бы проверить. В настоящее время у меня нет полной информации о схеме (над которой я работаю отдельно) .
Но пока (и в надежде на универсальное решение), каковы мои варианты проверки файла?
Я нашел инструмент для qlift: http://www.exmachinatech.net/ 01 / forqlift /
И попробовал 'forqlift list' в файле. Он жалуется, что не может загрузить классы для включенного настраиваемого подкласса Writables. Поэтому мне нужно будет отследить эти реализации.
Но есть ли там есть ли другой доступный вариант? Я понимаю, что, скорее всего, я не могу извлечь данные, но есть ли какой-нибудь инструмент для сканирования, сколько ключевых значений и какого типа?
1 ответ
После anwer Praveen Sripati, здесь небольшой пример SequenceFileReadDemo.java от Hadoop Полное руководство Tom White.
Данные находятся в HDFS в этом положении: user/hduser/output-hashsort/и файл являются part-r-00001 В затмении, в папке Arguments я записал эту строку: 
и это - часть вывода с отладчиком 