Файлы rsync для hadoop

У меня 6 серверов, и на каждом много логов. Я хотел бы поместить эти журналы в hadoop fs через rsync. Теперь я использую fuse, и rsync записывает непосредственно в fs / mnt / hdfs, установленный на предохранителе. Но есть большая проблема. Примерно через сутки fuse deamon занимает 5 ГБ ОЗУ, и с смонтированной файловой системой сделать ничего нельзя. Поэтому мне нужно перемонтировать предохранитель, и все в порядке, но только на некоторое время. Команда Rsync

rsync --port=3360 -az --timeout=10 --contimeout=30 server_name::ap-rsync/archive /mnt/hdfs/logs

Через некоторое время Rsync выдает сообщение об ошибке:

rsync error: timeout in data send/receive (code 30) at io.c(137) [sender=3.0.7]
rsync: connection unexpectedly closed (498784 bytes received so far) [receiver]
rsync error: error in rsync protocol data stream (code 12) at io.c(601) [receiver=3.0.7]
rsync: connection unexpectedly closed (498658 bytes received so far) [generator]
rsync error: error in rsync protocol data stream (code 12) at io.c(601) [generator=3.0.7]
5
задан Michal 23 June 2011 в 06:24
поделиться