Как использовать Http, Socks4 и Socks5 проксируют в Java?
Я хочу к экранному царапанью веб-сайт, и для этого я хочу использовать Http, Socks4 и прокси Sock5. Таким образом, мои вопросы следующие:
Действительно ли возможно использовать эти прокси через Java, не используя никакой другой внешний API? Например, действительно ли возможно отправить запрос через HttpURLConnection через theseproxies?
Если не возможно, то, Что другие внешние API я могу использовать?
Я делал его при помощи бездисплейного браузера, обеспеченного HtmlUnit, но это занимает время для загрузки даже простых веб-страниц, так могли Вы предлагать меня другие API (если таковые имеются), которые обеспечивают бездисплейные браузеры, которые быстры в загрузке веб-страниц. Я не хочу открывать веб-страницы, которые содержат тяжелый Ajax или код JavaScript. Я просто должен нажать на кнопку форм через бездисплейный браузер.
2 ответа
Можно ли использовать эти прокси через Java без использования какого-либо другого внешнего API? Например, можно ли отправить запрос через
HttpURLConnectionчерез эти прокси?
Да, вы можете настроить прокси, используя (глобальные) системные свойства или прокси класс или с помощью ProxySelector . Два более поздних варианта доступны начиная с Java 5 и являются более гибкими. Взгляните на Java Networking and Proxies , упомянутые jarnbjo, для получения всех подробностей.
Я делал это, используя автономный браузер, предоставляемый HtmlUnit, но для загрузки даже простых веб-страниц требуется время, поэтому не могли бы вы предложить мне другие API (если таковые имеются), которые предоставляют автономные браузеры, которые быстро загружают веб-страницы. Я не хочу открывать веб-страницы, содержащие тяжелый код AJAX или Javascript. Мне просто нужно нажать кнопку форм в браузере без заголовка.
К сожалению, первые альтернативы, которые я могу придумать, основаны на HtmlUnit (например, JWebUnit или WebTest ) или более медленные ( Selenium , WebDriver - что можно запускать в безголовом режиме). Но, возможно, вы могли бы попробовать HttpUnit , если вам не нужна расширенная поддержка JavaScript.
Как представляется, он содержится в последнем проекте (см. раздел 25.3.2).
У меня есть печатная копия C++ 03, которая точно такая же, как C++ 98 (разделы 25,2 .x), где можно увидеть одни и те же алгоритмы (без «перемещения», очевидно).
-121--4904186-Я бы предложил одно из следующих решений:
- Напишите плагин входа , специфичный для вашего сценария.
- Использование ЗАВИТОК в сценарии для выполнения POST-Request в обычной форме входа (CURL также может справляться с куки-файлами.)
- (простейший) : Не выполнять аутентификацию с помощью Joomla!, а с помощью .htaccess.
Да, это возможно. Опции конфигурации для различных сетевых прокси можно найти здесь .