Как заставить Hadoop находить импортированные модули Python при использовании UDF Python в Pig?

Я использую Pig (0.9.1) с UDF, написанными на Python. Скрипты Python импортируют модули из стандартной библиотеки Python. Мне удалось запустить сценарии Pig, которые успешно вызывают UDF Python в локальном режиме, но при запуске в кластере выясняется, что созданное Pig задание Hadoop не может найти импортированные модули. Что необходимо сделать?

Например:

  • Нужно ли устанавливать python (или jython) на каждый узел отслеживания задач?
  • Нужно ли устанавливать модули python (или jython) на каждом узле отслеживания задач узел?
  • Нужно ли узлам отслеживания задач знать, как находить модули?
  • Если да, то как указать путь (через переменную среды - как это делается для средства отслеживания задач)?
7
задан Ben Lever 20 October 2011 в 05:47
поделиться