Как извлекать данные в функциях Map / Reduce?

Согласно Hadoop: The Definitive Guide .

Новый API поддерживает итерацию как «push», так и «pull». В обоих API пары записей "ключ-значение" передаются в средство сопоставления, но, кроме того, новый API позволяет сопоставителю извлекать записи из метода map (). То же самое и с редуктором. Примером того, как может быть полезен стиль «вытягивания», является обработка записей партиями, а не по одной.

Кто-нибудь извлекал данные в функциях Map / Reduce? Меня интересует API или пример того же.

7
задан Brian Tompsett - 汤莱恩 29 December 2015 в 21:54
поделиться