Как использовать java.net.URLConnection для запуска и обработки HTTP-запросов

^{Сначала заранее оговорюсь: опубликованные фрагменты кода являются основными примерами. Вам нужно будет обработать тривиальные исключения IOException и RuntimeException , такие как NullPointerException , ArrayIndexOutOfBoundsException , и действовать самостоятельно.}

---

Подготовка

Сначала нам нужно знать хотя бы URL-адрес и кодировку. Параметры являются необязательными и зависят от функциональных требований.

String url = "http://example.com";
String charset = "UTF-8";  // Or in Java 7 and later, use the constant: java.nio.charset.StandardCharsets.UTF_8.name()
String param1 = "value1";
String param2 = "value2";
// ...

String query = String.format("param1=%s&param2=%s", 
     URLEncoder.encode(param1, charset), 
     URLEncoder.encode(param2, charset));

Параметры запроса должны быть в формате name = value и быть объединены в & . Обычно вы также URL-кодируете параметры запроса с указанной кодировкой, используя URLEncoder # encode () .

^{String # format () используется только для удобства.Я предпочитаю его, когда мне понадобится оператор конкатенации строк + более чем дважды.}

---

Запуск запроса HTTP GET с (необязательно) параметрами запроса

Это тривиальная задача. Это метод запроса по умолчанию.

URLConnection connection = new URL(url + "?" + query).openConnection();
connection.setRequestProperty("Accept-Charset", charset);
InputStream response = connection.getInputStream();
// ...

Любая строка запроса должна быть связана с URL-адресом с помощью ? . Заголовок Accept-Charset может намекнуть серверу, в какой кодировке находятся параметры. Если вы не отправляете строку запроса, вы можете не указывать заголовок Accept-Charset . Если вам не нужно устанавливать какие-либо заголовки, вы даже можете использовать метод ярлыка URL # openStream () .

InputStream response = new URL(url).openStream();
// ...

В любом случае, если другой стороной является HttpServlet , то будет вызван его метод doGet () и параметры будут доступны через HttpServletRequest # getParameter () .

В целях тестирования вы можете распечатать тело ответа на стандартный вывод, как показано ниже:

try (Scanner scanner = new Scanner(response)) {
    String responseBody = scanner.useDelimiter("\\A").next();
    System.out.println(responseBody);
}

---

Запуск запроса HTTP POST с параметрами запроса

Установка URLConnection # setDoOutput () на истина неявно устанавливает метод запроса на POST. Стандартный HTTP POST, как и веб-формы, имеет тип application / x-www-form-urlencoded , в котором строка запроса записывается в тело запроса.

URLConnection connection = new URL(url).openConnection();
connection.setDoOutput(true); // Triggers POST.
connection.setRequestProperty("Accept-Charset", charset);
connection.setRequestProperty("Content-Type", "application/x-www-form-urlencoded;charset=" + charset);

try (OutputStream output = connection.getOutputStream()) {
    output.write(query.getBytes(charset));
}

InputStream response = connection.getInputStream();
// ...

Примечание: всякий раз, когда вы хотите отправить HTML-форму программно, не забудьте взять пары name = value из любых элементы в строку запроса и, конечно, также пару name = value элемента , который вы хотите "нажать" программно (потому что это обычно используется на стороне сервера, чтобы различать, была ли нажата кнопка, и если да, то какая).

Вы также можете преобразовать полученное URLConnection в HttpURLConnection и использовать вместо него HttpURLConnection # setRequestMethod () . Но если вы пытаетесь использовать соединение для вывода, вам все равно нужно установить URLConnection # setDoOutput () на true .

HttpURLConnection httpConnection = (HttpURLConnection) new URL(url).openConnection();
httpConnection.setRequestMethod("POST");
// ...

В любом случае, если другой стороной является HttpServlet , то будет вызван его метод doPost () и параметры будут доступны через HttpServletRequest # getParameter () .

---

Фактическое выполнение HTTP-запроса

Вы можете явно запустить HTTP-запрос с помощью URLConnection # connect () , но запрос будет автоматически запускаться по запросу, когда вы хотите получить какую-либо информацию о HTTP. ответ, например тело ответа с использованием URLConnection # getInputStream () и так далее. Приведенные выше примеры делают именно это, поэтому вызов connect () на самом деле излишний.

---

Сбор информации об ответе HTTP

1. Статус ответа HTTP :

   Здесь вам понадобится HttpURLConnection . Если необходимо, сначала примените его.

    int status = httpConnection.getResponseCode (); 
    

2. Заголовки ответа HTTP :

    для (Заголовок Entry >: connection.getHeaderFields (). entrySet ()) {{{1} } System.out.println (header.getKey () + "=" + header.getValue ()); 
    
    

3. Кодировка ответа HTTP :

   Когда Content-Type содержит параметр charset , тогда тело ответа, вероятно, основано на тексте, и тогда мы хотели бы обработать тело ответа с указанной на стороне сервера кодировкой символов.

    String contentType = connection.getHeaderField ("Content-Type"); 
   String charset = null; 
    
   for (String param: contentType.replace ("", "") .split (";" )) {
   if (param.startsWith ("charset =")) {
   charset = param.split ("=", 2) [1]; 
   break; { {1}}} 
   } 
    
   if (charset! = Null) {
   try (BufferedReader reader = new BufferedReader (новый InputStreamReader (ответ, кодировка)) ) {
   for (String line; (line = reader.readLine ())! = Null;) {
    // ... System.out.println (line)? {{1} }} 
   } 
   } else {
    // Скорее всего, это двоичный контент, используйте InputStream / OutputStream. 
   } 
    

---

Поддержание сеанса

Сеанс на стороне сервера обычно поддерживается файлом cookie. Некоторые веб-формы требуют, чтобы вы вошли в систему и / или отслеживали сеанс. Вы можете использовать API CookieHandler для поддержки файлов cookie. Перед отправкой всех HTTP-запросов необходимо подготовить CookieManager с CookiePolicy из ACCEPT_ALL .

// First set the default cookie manager.
CookieHandler.setDefault(new CookieManager(null, CookiePolicy.ACCEPT_ALL));

// All the following subsequent URLConnections will use the same cookie manager.
URLConnection connection = new URL(url).openConnection();
// ...

connection = new URL(url).openConnection();
// ...

connection = new URL(url).openConnection();
// ...

Обратите внимание, что это, как известно, не всегда работает должным образом при любых обстоятельствах. Если вам это не удается, то лучше всего вручную собрать и установить заголовки файлов cookie. По сути, вам нужно получить все заголовки Set-Cookie из ответа на логин или первый запрос GET , а затем передать их через последующие запросы.

// Gather all cookies on the first request.
URLConnection connection = new URL(url).openConnection();
List<String> cookies = connection.getHeaderFields().get("Set-Cookie");
// ...

// Then use the same cookies on all subsequent requests.
connection = new URL(url).openConnection();
for (String cookie : cookies) {
    connection.addRequestProperty("Cookie", cookie.split(";", 2)[0]);
}
// ...

Разделение (";", 2) [0] предназначено для того, чтобы избавиться от атрибутов файлов cookie, которые не имеют отношения к стороне сервера, например, истекает , путь и т. Д. Вы также можете использовать cookie.substring (0, cookie.indexOf (';')) вместо split () .

---

Потоковый режим

HttpURLConnection по умолчанию буферизует все тело запроса перед его фактической отправкой, независимо от того, установили ли вы фиксированную длину содержимого самостоятельно, используя connection.setRequestProperty ("Длина содержимого", contentLength); . Это может вызвать OutOfMemoryException s всякий раз, когда вы одновременно отправляете большие запросы POST (например, загружаете файлы). Чтобы избежать этого, вы должны установить HttpURLConnection # setFixedLengthStreamingMode () .

httpConnection.setFixedLengthStreamingMode(contentLength);

Но если длина содержимого действительно не известна заранее, вы можете использовать режим потоковой передачи по фрагментам, установив HttpURLConnection # setChunkedStreamingMode () соответственно. Это установит заголовок HTTP Transfer-Encoding на chunked , что приведет к отправке тела запроса частями. В приведенном ниже примере тело отправляется кусками по 1 КБ.

httpConnection.setChunkedStreamingMode(1024);

---

User-Agent

Может случиться так, что запрос возвращает неожиданный ответ, хотя он отлично работает с настоящим веб-браузером . Сторона сервера, вероятно, блокирует запросы на основе заголовка запроса User-Agent . URLConnection по умолчанию устанавливает его на Java / 1.6.0_19 , где последняя часть, очевидно, является версией JRE. Вы можете изменить это следующим образом:

connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36"); // Do as if you're using Chrome 41 on Windows 7.

Используйте строку User-Agent из недавнего браузера .

---

Обработка ошибок

Если код ответа HTTP - 4nn (ошибка клиента) или 5nn (ошибка сервера), то вы можете прочитать HttpURLConnection # getErrorStream () , чтобы узнать, отправил ли сервер какую-либо полезную информацию об ошибке.

InputStream error = ((HttpURLConnection) connection).getErrorStream();

Если код ответа HTTP равен -1, значит, что-то пошло не так с соединением и обработкой ответа. Реализация HttpURLConnection в старых JRE содержит несколько ошибок с поддержанием активности соединений. Вы можете отключить его, установив для системного свойства http.keepAlive значение false . Вы можете сделать это программно в начале вашего приложения:

System.setProperty("http.keepAlive", "false");

---

Загрузив файлы

Обычно вы используете кодировку multipart / form-data для смешанного содержимого POST (двоичные и символьные данные). Кодирование более подробно описано в RFC2388 .

String param = "value";
File textFile = new File("/path/to/file.txt");
File binaryFile = new File("/path/to/file.bin");
String boundary = Long.toHexString(System.currentTimeMillis()); // Just generate some unique random value.
String CRLF = "\r\n"; // Line separator required by multipart/form-data.
URLConnection connection = new URL(url).openConnection();
connection.setDoOutput(true);
connection.setRequestProperty("Content-Type", "multipart/form-data; boundary=" + boundary);

try (
    OutputStream output = connection.getOutputStream();
    PrintWriter writer = new PrintWriter(new OutputStreamWriter(output, charset), true);
) {
    // Send normal param.
    writer.append("--" + boundary).append(CRLF);
    writer.append("Content-Disposition: form-data; name=\"param\"").append(CRLF);
    writer.append("Content-Type: text/plain; charset=" + charset).append(CRLF);
    writer.append(CRLF).append(param).append(CRLF).flush();

    // Send text file.
    writer.append("--" + boundary).append(CRLF);
    writer.append("Content-Disposition: form-data; name=\"textFile\"; filename=\"" + textFile.getName() + "\"").append(CRLF);
    writer.append("Content-Type: text/plain; charset=" + charset).append(CRLF); // Text file itself must be saved in this charset!
    writer.append(CRLF).flush();
    Files.copy(textFile.toPath(), output);
    output.flush(); // Important before continuing with writer!
    writer.append(CRLF).flush(); // CRLF is important! It indicates end of boundary.

    // Send binary file.
    writer.append("--" + boundary).append(CRLF);
    writer.append("Content-Disposition: form-data; name=\"binaryFile\"; filename=\"" + binaryFile.getName() + "\"").append(CRLF);
    writer.append("Content-Type: " + URLConnection.guessContentTypeFromName(binaryFile.getName())).append(CRLF);
    writer.append("Content-Transfer-Encoding: binary").append(CRLF);
    writer.append(CRLF).flush();
    Files.copy(binaryFile.toPath(), output);
    output.flush(); // Important before continuing with writer!
    writer.append(CRLF).flush(); // CRLF is important! It indicates end of boundary.

    // End of multipart/form-data.
    writer.append("--" + boundary + "--").append(CRLF).flush();
}

Если другой стороной является HttpServlet , то будет вызван его метод doPost () , и части будут доступны через HttpServletRequest # getPart () (обратите внимание, таким образом , а не getParameter () и так далее!). Однако метод getPart () относительно новый, он представлен в Servlet 3.0 (Glassfish 3, Tomcat 7 и т. Д.). До Servlet 3.0 лучше всего использовать Apache Commons FileUpload для анализа запроса multipart / form-data . Также см. этот ответ , где приведены примеры подходов FileUpload и Servelt 3.0.

---

Работа с ненадежными или неправильно настроенными HTTPS-сайтами

Иногда вам нужно подключить HTTPS-URL, возможно, из-за того, что вы пишете парсер. В этом случае вы, вероятно, можете столкнуться с javax.net.ssl.SSLException: сертификат ненадежного сервера на некоторых сайтах HTTPS, которые не обновляют свои сертификаты SSL, или java. security.cert.CertificateException: не найдено альтернативное DNS-имя субъекта, соответствующее [имя хоста] или javax.net.ssl.SSLProtocolException: оповещение о рукопожатии: unrecognized_name на некоторых неправильно настроенных сайтах HTTPS.

Следующий одноразовый инициализатор static в вашем классе веб-парсера должен сделать HttpsURLConnection более снисходительным по отношению к этим HTTPS-сайтам и, таким образом, больше не будет генерировать эти исключения.

static {
    TrustManager[] trustAllCertificates = new TrustManager[] {
        new X509TrustManager() {
            @Override
            public X509Certificate[] getAcceptedIssuers() {
                return null; // Not relevant.
            }
            @Override
            public void checkClientTrusted(X509Certificate[] certs, String authType) {
                // Do nothing. Just allow them all.
            }
            @Override
            public void checkServerTrusted(X509Certificate[] certs, String authType) {
                // Do nothing. Just allow them all.
            }
        }
    };

    HostnameVerifier trustAllHostnames = new HostnameVerifier() {
        @Override
        public boolean verify(String hostname, SSLSession session) {
            return true; // Just allow them all.
        }
    };

    try {
        System.setProperty("jsse.enableSNIExtension", "false");
        SSLContext sc = SSLContext.getInstance("SSL");
        sc.init(null, trustAllCertificates, new SecureRandom());
        HttpsURLConnection.setDefaultSSLSocketFactory(sc.getSocketFactory());
        HttpsURLConnection.setDefaultHostnameVerifier(trustAllHostnames);
    }
    catch (GeneralSecurityException e) {
        throw new ExceptionInInitializerError(e);
    }
}

---

Последние слова

Apache HttpComponents HttpClient намного во всем этом удобнее :)

• Учебное пособие по HttpClient
• Примеры HttpClient

---

Анализ и извлечение HTML

Если все, что вам нужно, - это синтаксический анализ и извлечение данных из HTML, то лучше использовать анализатор HTML, например Jsoup

• Каковы плюсы и минусы ведущих анализаторов HTML в Java
• Как сканировать и извлекать веб-страница на Java