Как ограничить размер загрузки с помощью jsoup?

Я пытаюсь ограничить размер загружаемой страницы/ссылки с помощью JSoup, учитывая что-то вроде следующего (кода Scala):

val document = Jsoup.connect(theURL).get();

Я хотел бы получить только первые несколько КБ данной страницы и прекратить попытки загрузки сверх этого. Если есть действительно большая страница (или theURL— это ссылка, которая не является html и представляет собой большой файл ), я бы не хотел тратить время на загрузку остальных.

Мой вариант использования — перехват заголовков страниц для IRC-бота.

Бонусный вопрос:

Есть ли причина, по которой Jsoup.connect(theURL).timeout(3000).get();не истекает по таймауту для больших файлов? Это приводит к тому, что бот пингуется, если кто-то вставляет что-то вроде никогда не заканчивающегося -аудиопотока или большого ISO-образа (, что можно решить, выбрав заголовки URL-адресов в другом потоке (или используя актеры Scala и синхронизацию. там ), но это кажется излишним для очень простого бота, когда я думаю, что timeout()должен достичь того же конечного результата ).

6
задан Ricky Elrod 16 July 2012 в 19:55
поделиться