Я хочу скачать все отрывки с http://source.yeeyan.org.
В нем много страниц. Например. http://source.yeeyan.org/?page=22202
Итак, как использовать wget или другие инструменты в Linux, чтобы загрузить их?
...
Я хотел бы отразить простой веб-портал, защищенный паролем, с некоторыми данными, которые я хотел бы сохранить отраженными и актуальными. По сути, этот веб-сайт представляет собой просто список каталогов с данными, организованными в ...
Последние 3 строки wget -i urls.txt: FINISHED --2012-05-16 12:58:08--
Общее время настенных часов: 1ч 56м 52с
Скачано: 1069 файлов, 746M за 1 час 52 минуты 49 секунд (113 КБ/с) Есть два разных времени: 1 час 56 минут ...
Я хотел бы знать, можно ли выполнить ls URL-адреса, чтобы я мог видеть, например, какие файлы *.js доступны на веб-сайте. Что-то вроде: wget --list-files -A.js stackoverflow.com и получить ajax/...
Этот вопрос относится к curl 7.21.4 и GNU Wget 1.13.4, я не знаю, зависит ли ответ от версии. Используя схему URI файла, я могу получить локальный файл, используя curl как таковой $ curl file ://localhost/...
Я устанавливал wget 1.13 после загрузки с http://ftp.gnu.org/gnu/wget/. Я следовал инструкциям, изложенным здесь http://krypted.com/mac-os-x/howto-install-wget-for-mac-os-x/. Возникла проблема...
Я использую Wget для отправки http запросов на новый веб-сервер. Я делаю это, чтобы нагреть кеш MySQL. Я не хочу сохранять файлы после их обслуживания. wget -nv -do-not-save-file $ url Могу ли я сделать ...
Можно ли запускать wget из приложения node.js? Я хотел бы иметь скрипт, который сканирует сайт и загружает определенный файл, но меняется href ссылки, по которой идет файл...
Есть ли HTTP клиент типа wget/lynx/GET, который распространяется по умолчанию в POSIX или *nix операционных системах, который можно использовать для максимальной переносимости? Я знаю, что в большинстве систем есть wget или lynx ...
Например, выполнение wget https://www.dropbox.com приводит к следующим ошибкам: ERROR: Сертификат `www.dropbox.com' не является доверенным.
ERROR: The certificate of `www.dropbox.com' has not got a ...
Я пытаюсь использовать пакетный файл с WGET для загрузки общедоступного файла FCC отсюда http://wireless.fcc.gov/uls/data/complete/l_micro.zip Когда я сначала запустите командный файл с параметрами wget --...
В настоящее время я пытаюсь использовать: "wget --user = xxx --password = xxx -r ftp://www.domain.com/htdocs/ "Но это сохраняет выходные файлы в текущем каталоге следующим образом: curdir / www.domain.com / htdocs / * Мне это нужно ...
Я искал, как загрузить изображения через терминал в ubuntu с помощью wget. Я нашел то, что мне нужно, но на сервере, защищенном .htaccess, нет пароля. с wget admin@http://server.com/...
Какой самый быстрый и простой способ загрузить все изображения с веб-сайта? В частности, http://www.cycustom.com/large/. Я думаю что-то вроде wget или curl. Чтобы уточнить, ...
Компания Digikey изменила свой веб-сайт и теперь имеет JavaScript, который вызывается загрузкой по почте. Это убило мою бывшую простую программу извлечения кода java HTML. Я пытаюсь использовать PhantomJS, чтобы разрешить выполнение ...
Я работаю над простым сценарием bash для загрузки изображений с веб-сайта Tumblr. Идея состоит в том, чтобы использовать read для получения информации для входа от пользователя и wget --post-data для входа в систему, и вот что у меня есть: read ...
Я пытаюсь использовать wget через Cygwin для получения некоторого содержимого с веб-сайта https. К сожалению, когда я пытаюсь подключиться, я получаю следующую ошибку: #wget https://www.mysite.com/mycontent
Connecting to ...
Это более общий вопрос, но он имеет более широкие последствия для проекта интеллектуального анализа данных, который я выполняю. Я использую wget для зеркалирования архивных веб-страниц для анализа. Это большой объем данных ...
Я попытался загрузить изображение с помощью wget, но получил следующую ошибку. --2011-10-01 16:45: 42-- http://www.icerts.com/images/logo.jpg
Восстановление www.icerts.com ... 97.74.86.3 {{1} } Подключение к www ....
Я выполнял отладку некоторых HTTP-запросов и обнаружил, что могу получать заголовки запросов в таком формате: GET / download? 123456: 75b3c682a7c4db4cea19641b33bec446 / document .docx HTTP / 1.1
Хост: www.site.com
...
Я пытаюсь загрузить один файл jar из репозитория maven по указанному ниже URL-адресу . http://repo1.maven.org/maven2/com/google/guava/guava-testlib/10.0/guava-testlib-10.0.jar Загрузка в ...
Я наткнулся на опцию «--delete-After», когда я читал Manpage Wget?
Какова цель обеспечения такого варианта? Это просто для тестирования страницы в порядке для скачивания? Или, может быть, ...
Я пытаюсь создать динамический список файлов, доступных в каталоге FTP. Я предполагаю, что Wget может помочь с этим, но я не совсем уверен, как ... Итак, мой вопрос: какой синтаксис для получения ...
У меня есть доступ к оболочку на поле Linux, где находится мой сайт. Я хочу назвать URL-адрес каждый час на этом веб-сайте (это не определенный файл PHP, у меня есть CDICigniter имеет фреймворк и некоторые Apache ...
Любые идеи о том, как разархивировать передаваемый по конвейеру zip-файл, например: wget -qO- http://downloads.wordpress.org/plugin/akismet.2.5.3.zip Я хотел разархивировать файл в каталог, например мы привыкли делать с обычным ...
Я хотел бы загрузить веб-страницу и сохранить ее с помощью командной строки (хочу получить аналогичное поведение, которое мы получаем для страницы сохранения, как и для полной страницы в firefox или chrome.) Я пробовал использовать wget и httrack, ...
Мне интересно, есть ли способ заранее проверить размер файла, который я могу загрузить через wget? Я знаю, что использование параметра --spider сообщает мне, существует файл или нет, но меня интересует ...
Я знаю, что вы можете вручную установить некоторые заголовки с помощью параметра --header, но я хочу знать, какие заголовки он отправляет без взаимодействия.
Я пытаюсь загрузить страницу профиля пользователя facebook с помощью "wget", но продолжаю получать непрофильная страница "browser.php", которая не имеет ничего общего с этим конкретным пользователем. URL-адрес страницы профиля, поскольку я ...
У меня есть страница PHP foo.php, которая извлекает записи из базы данных MySQL и отображает их в удобном виде. Сложность в том, что у меня есть ссылки вверху, например «Сортировать по имени», которые ссылаются на foo.php? Sort = name. Моя ...