зеркало http веб-сайта, за исключением определенных файлов

Я хотел бы отразить простой веб-портал, защищенный паролем, для некоторых данных, которые я хотел бы сохранить зеркальными и актуальными. По сути, этот веб-сайт представляет собой просто список каталогов с данными, организованными в папки, и я не особо забочусь о сохранении файлов html и других элементов форматирования. Однако есть некоторые огромные типы файлов, которые слишком велики для загрузки, поэтому я хочу их игнорировать.

Использование флага wget -m -R/--rejectпочти делает то, что я хочу, за исключением того, что загружаются все файлы, а затем, если они соответствуют флагу -R, они удаляются.

Вот как я использую wget:

wget --http-user userName --http-password password -R index.html,*tiff,*bam,*bai -m http://web.server.org/

Который выводит такой вывод, подтверждая, что исключенный файл (index.html) (a) загружается, а (b) затем удаляется:

...
--2012-05-23 09:38:38-- http://web.server.org/folder/
Повторное использование существующего подключения к web.server.org:80.
HTTP-запрос отправлен, ожидается ответ... 401 Требуется авторизация
Повторное использование существующего подключения к web.server.org:80.
HTTP-запрос отправлен, ожидается ответ... 200 OK
Длина: 2677 (2,6 КБ) [текст/html]
Сохранение в: `web.server.org/folder/index.html' 100%[============================================== ================================================= =====================>] 2,677 --.-K/s in 0s

Отсутствует последний модифицированный заголовок -- временные метки отключены.
2012-05-23 09:38:39 (328 МБ/с) - `web.server.org/folder/index.html' сохранено [2677/2677]

Удаление web.server.org/folder/index. html, так как он должен быть отклонен.

...

есть ли способ заставить wget отклонить файл перед его загрузкой?
Есть ли альтернатива, которую я должен рассмотреть?

Кроме того, почему я получаю ошибку 401 Требуется авторизациядля каждого загруженного файла, несмотря на предоставление имени пользователя и пароля. Это как wgetкаждый раз пытается подключиться без аутентификации, прежде чем пытаться ввести имя пользователя/пароль.

спасибо, Марк

8
задан drmjc 23 May 2012 в 01:29
поделиться