0
ответов

Как правильно загрузить поддомен веб-сайта в Linux с помощью wget или других инструментов?

Я хочу скачать все отрывки с http://source.yeeyan.org. В нем много страниц. Например. http://source.yeeyan.org/?page=22202 Итак, как использовать wget или другие инструменты в Linux, чтобы загрузить их? ...
вопрос задан: 25 May 2012 07:21
0
ответов

зеркало http веб-сайта, за исключением определенных файлов

Я хотел бы отразить простой веб-портал, защищенный паролем, с некоторыми данными, которые я хотел бы сохранить отраженными и актуальными. По сути, этот веб-сайт представляет собой просто список каталогов с данными, организованными в ...
вопрос задан: 23 May 2012 01:29
0
ответов

Почему wget показывает два разных времени загрузки?

Последние 3 строки wget -i urls.txt: FINISHED --2012-05-16 12:58:08-- Общее время настенных часов: 1ч 56м 52с Скачано: 1069 файлов, 746M за 1 час 52 минуты 49 секунд (113 КБ/с) Есть два разных времени: 1 час 56 минут ...
вопрос задан: 16 May 2012 05:18
0
ответов

Как получить список доступных файлов с помощью wget или curl?

Я хотел бы знать, можно ли выполнить ls URL-адреса, чтобы я мог видеть, например, какие файлы *.js доступны на веб-сайте. Что-то вроде: wget --list-files -A.js stackoverflow.com и получить ajax/...
вопрос задан: 13 May 2012 11:28
0
ответов

Почему curl позволяет использовать схему URL файла, но не wget

Этот вопрос относится к curl 7.21.4 и GNU Wget 1.13.4, я не знаю, зависит ли ответ от версии. Используя схему URI файла, я могу получить локальный файл, используя curl как таковой $ curl file ://localhost/...
вопрос задан: 4 May 2012 00:00
0
ответов

Установка wget для Mac [закрыто]

Я устанавливал wget 1.13 после загрузки с http://ftp.gnu.org/gnu/wget/. Я следовал инструкциям, изложенным здесь http://krypted.com/mac-os-x/howto-install-wget-for-mac-os-x/. Возникла проблема...
вопрос задан: 2 May 2012 13:57
0
ответов

Как запросить файл, но не сохранить его с помощью Wget? [закрыто]

Я использую Wget для отправки http запросов на новый веб-сервер. Я делаю это, чтобы нагреть кеш MySQL. Я не хочу сохранять файлы после их обслуживания. wget -nv -do-not-save-file $ url Могу ли я сделать ...
вопрос задан: 13 March 2012 20:13
0
ответов

Как воспроизвести функциональность wget с помощью node.js?

Можно ли запускать wget из приложения node.js? Я хотел бы иметь скрипт, который сканирует сайт и загружает определенный файл, но меняется href ссылки, по которой идет файл...
вопрос задан: 2 March 2012 22:21
0
ответов

Всегда ли wget или подобные программы доступны на POSIX системах?

Есть ли HTTP клиент типа wget/lynx/GET, который распространяется по умолчанию в POSIX или *nix операционных системах, который можно использовать для максимальной переносимости? Я знаю, что в большинстве систем есть wget или lynx ...
вопрос задан: 28 February 2012 23:46
0
ответов

Как исправить ошибки сертификата при выполнении wget на HTTPS URL в Cygwin?

Например, выполнение wget https://www.dropbox.com приводит к следующим ошибкам: ERROR: Сертификат `www.dropbox.com' не является доверенным. ERROR: The certificate of `www.dropbox.com' has not got a ...
вопрос задан: 10 February 2012 07:35
0
ответов

WGET 401 Unauthorized

Я пытаюсь использовать пакетный файл с WGET для загрузки общедоступного файла FCC отсюда http://wireless.fcc.gov/uls/data/complete/l_micro.zip Когда я сначала запустите командный файл с параметрами wget --...
вопрос задан: 8 February 2012 10:03
0
ответов

Wget - префикс выходного каталога

В настоящее время я пытаюсь использовать: "wget ​​--user = xxx --password = xxx -r ftp://www.domain.com/htdocs/ "Но это сохраняет выходные файлы в текущем каталоге следующим образом: curdir / www.domain.com / htdocs / * Мне это нужно ...
вопрос задан: 24 January 2012 11:35
0
ответов

wget и htaccess: только имя пользователя

Я искал, как загрузить изображения через терминал в ubuntu с помощью wget. Я нашел то, что мне нужно, но на сервере, защищенном .htaccess, нет пароля. с wget admin@http://server.com/...
вопрос задан: 12 January 2012 20:06
0
ответов

Какой самый быстрый и простой способ загрузить все изображения с веб-сайта

Какой самый быстрый и простой способ загрузить все изображения с веб-сайта? В частности, http://www.cycustom.com/large/. Я думаю что-то вроде wget или curl. Чтобы уточнить, ...
вопрос задан: 11 January 2012 03:02
0
ответов

Проблема со сценарием дампа страницы PhantomJS

Компания Digikey изменила свой веб-сайт и теперь имеет JavaScript, который вызывается загрузкой по почте. Это убило мою бывшую простую программу извлечения кода java HTML. Я пытаюсь использовать PhantomJS, чтобы разрешить выполнение ...
вопрос задан: 1 January 2012 05:59
0
ответов

Переменные в данных публикации wget

Я работаю над простым сценарием bash для загрузки изображений с веб-сайта Tumblr. Идея состоит в том, чтобы использовать read для получения информации для входа от пользователя и wget --post-data для входа в систему, и вот что у меня есть: read ...
вопрос задан: 22 December 2011 21:01
0
ответов

wget: не удается подключиться к веб-сайту https (ошибка TLS) [закрыто]

Я пытаюсь использовать wget через Cygwin для получения некоторого содержимого с веб-сайта https. К сожалению, когда я пытаюсь подключиться, я получаю следующую ошибку: #wget https://www.mysite.com/mycontent Connecting to ...
вопрос задан: 30 November 2011 18:54
0
ответов

Логика WGet в порядке загрузки

Это более общий вопрос, но он имеет более широкие последствия для проекта интеллектуального анализа данных, который я выполняю. Я использую wget для зеркалирования архивных веб-страниц для анализа. Это большой объем данных ...
вопрос задан: 15 October 2011 23:40
0
ответов

wget не может загрузить - ошибка 404

Я попытался загрузить изображение с помощью wget, но получил следующую ошибку. --2011-10-01 16:45: 42-- http://www.icerts.com/images/logo.jpg Восстановление www.icerts.com ... 97.74.86.3 {{1} } Подключение к www ....
вопрос задан: 1 October 2011 23:47
0
ответов

Как дублировать запрос с помощью wget (или curl) с необработанными заголовками?

Я выполнял отладку некоторых HTTP-запросов и обнаружил, что могу получать заголовки запросов в таком формате: GET / download? 123456: 75b3c682a7c4db4cea19641b33bec446 / document .docx HTTP / 1.1 Хост: www.site.com ...
вопрос задан: 1 October 2011 04:27
0
ответов

wget не работает, чтобы загрузить файл jar из репозитория maven

Я пытаюсь загрузить один файл jar из репозитория maven по указанному ниже URL-адресу . http://repo1.maven.org/maven2/com/google/guava/guava-testlib/10.0/guava-testlib-10.0.jar Загрузка в ...
вопрос задан: 29 September 2011 11:39
0
ответов

Какова цель варианта WGET «--delete-After»?

Я наткнулся на опцию «--delete-After», когда я читал Manpage Wget? Какова цель обеспечения такого варианта? Это просто для тестирования страницы в порядке для скачивания? Или, может быть, ...
вопрос задан: 3 September 2011 11:33
0
ответов

Wget только имена файлов в каталоге FTP

Я пытаюсь создать динамический список файлов, доступных в каталоге FTP. Я предполагаю, что Wget может помочь с этим, но я не совсем уверен, как ... Итак, мой вопрос: какой синтаксис для получения ...
вопрос задан: 31 August 2011 17:46
0
ответов

Как позвонить в URL-адрес периодически образуя коробку Linux (задание CRON)?

У меня есть доступ к оболочку на поле Linux, где находится мой сайт. Я хочу назвать URL-адрес каждый час на этом веб-сайте (это не определенный файл PHP, у меня есть CDICigniter имеет фреймворк и некоторые Apache ...
вопрос задан: 31 August 2011 01:13
0
ответов

Bash - как распаковать zip-файл с конвейером (из «wget -qO-»)

Любые идеи о том, как разархивировать передаваемый по конвейеру zip-файл, например: wget -qO- http://downloads.wordpress.org/plugin/akismet.2.5.3.zip Я хотел разархивировать файл в каталог, например мы привыкли делать с обычным ...
вопрос задан: 20 August 2011 14:54
0
ответов

Визуализация html-страницы и ее сохранение с помощью командной строки

Я хотел бы загрузить веб-страницу и сохранить ее с помощью командной строки (хочу получить аналогичное поведение, которое мы получаем для страницы сохранения, как и для полной страницы в firefox или chrome.) Я пробовал использовать wget и httrack, ...
вопрос задан: 17 August 2011 12:55
0
ответов

получить размер файла для wget перед его загрузкой?

Мне интересно, есть ли способ заранее проверить размер файла, который я могу загрузить через wget? Я знаю, что использование параметра --spider сообщает мне, существует файл или нет, но меня интересует ...
вопрос задан: 8 August 2011 13:00
0
ответов

Какие заголовки автоматически отправляются с помощью wget?

Я знаю, что вы можете вручную установить некоторые заголовки с помощью параметра --header, но я хочу знать, какие заголовки он отправляет без взаимодействия.
вопрос задан: 1 August 2011 22:44
0
ответов

wget для загрузки страниц профиля / друзей Facebook

Я пытаюсь загрузить страницу профиля пользователя facebook с помощью "wget", но продолжаю получать непрофильная страница "browser.php", которая не имеет ничего общего с этим конкретным пользователем. URL-адрес страницы профиля, поскольку я ...
вопрос задан: 25 July 2011 20:07
0
ответов

Сохранение динамической страницы PHP для просмотра в автономном режиме

У меня есть страница PHP foo.php, которая извлекает записи из базы данных MySQL и отображает их в удобном виде. Сложность в том, что у меня есть ссылки вверху, например «Сортировать по имени», которые ссылаются на foo.php? Sort = name. Моя ...
вопрос задан: 14 July 2011 20:47