Я выбрал бы JVM, но главным образом потому что я знаком с ним.
Объективные причины JVM: основные платформы поддерживаются, многие библиотеки и хорошая производительность (в рамках выбора, который Вы дали ей, может иметь лучшую производительность).
.Net работает лучше всего над Windows. При выборе его необходимо протестировать на Моно , чтобы быть более независимыми от платформы.
Python кажется хорошим выбором также. Но я думаю для JVM, больше библиотек доступно.
Попугай , по-моему, слишком нов, требуется некоторое время для назревания. Но интересная альтернатива для будущего.
другой выбор плохо мне знаком, я буду смотреть на них.
Используйте оболочку Hadoop FS . В частности:
$ hadoop fs -copyFromLocal /path/to/local hdfs:///path/to/hdfs
Если вы хотите сделать это программно, создайте две файловые системы (одну локальную и одну HDFS) и используйте класс FileUtil