Я получаю SocketTimeoutException в Jsoup: Тайм-аут чтения


Я получаю SocketTimeoutException, когда пытаюсь проанализировать множество HTML-документов с помощью Jsoup.
Например, у меня есть список ссылок:

<a href="www.domain.com/url1.html">link1</a>
<a href="www.domain.com/url2.html">link2</a>
<a href="www.domain.com/url3.html">link3</a>
<a href="www.domain.com/url4.html">link4</a>

Для каждой ссылки, Я анализирую документ, связанный с URL-адресом (из атрибута href), чтобы получить другую информацию на этих страницах.
Итак, я могу представить, что это занимает много времени, но как отключить это исключение?
Вот вся трассировка стека:

java.net.SocketTimeoutException: Read timed out
    at java.net.SocketInputStream.socketRead0(Native Method)
    at java.net.SocketInputStream.read(Unknown Source)
    at java.io.BufferedInputStream.fill(Unknown Source)
    at java.io.BufferedInputStream.read1(Unknown Source)
    at java.io.BufferedInputStream.read(Unknown Source)
    at sun.net.www.http.HttpClient.parseHTTPHeader(Unknown Source)
    at sun.net.www.http.HttpClient.parseHTTP(Unknown Source)
    at sun.net.www.protocol.http.HttpURLConnection.getInputStream(Unknown Source)
    at java.net.HttpURLConnection.getResponseCode(Unknown Source)
    at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:381)
    at org.jsoup.helper.HttpConnection$Response.execute(HttpConnection.java:364)
    at org.jsoup.helper.HttpConnection.execute(HttpConnection.java:143)
    at org.jsoup.helper.HttpConnection.get(HttpConnection.java:132)
    at app.ForumCrawler.crawl(ForumCrawler.java:50)
    at Main.main(Main.java:15)

Спасибо, друзья!

РЕДАКТИРОВАТЬ: Хм ... Извините, только что нашел решение:

Jsoup.connect(url).timeout(0).get();

Надеюсь, что это может быть полезно для кого-то еще ... :)

99
задан TDG 27 May 2016 в 07:53
поделиться