Как определить, содержит ли Строка недопустимые закодированные символы

URLDecoder will decode to a given encoding. This should flag errors appropriately. However the documentation states:

There are two possible ways in which this decoder could deal with illegal strings. It could either leave illegal characters alone or it could throw an IllegalArgumentException. Which approach the decoder takes is left to the implementation.

So you should probably try it. Note also (from the decode() method documentation):

The World Wide Web Consortium Recommendation states that UTF-8 should be used. Not doing so may introduce incompatibilites

so there's something else to think about!

EDIT: Apache Commons URLDecode claims to throw appropriate exceptions for bad encodings.

Вам необходимо настроить кодировку символов с самого начала. Попробуйте отправить правильный заголовок Content-Type , например Content-Type: text / html; charset = utf-8 , чтобы исправить правильную кодировку. Стандартное соответствие ссылается на utf-8 и utf-16 как на правильную кодировку для веб-служб. Изучите заголовки ответов.

Кроме того, на стороне сервера - в случае, когда браузер не обрабатывает должным образом кодировку, отправляемую сервером, - принудительное кодирование путем выделения новой строки. Также вы можете проверить каждый байт в закодированной строке utf-8, выполнив один each_byte & 0x80 , проверив, что результат не равен нулю.

boolean utfEncoded = true;
byte[] strBytes = queryString.getBytes();
for (int i = 0; i < strBytes.length(); i++) {
    if ((strBytes[i] & 0x80) != 0) {
        continue;
    } else {
        /* treat the string as non utf encoded */
        utfEncoded = false;
        break;
    }
}

String realQueryString = utfEncoded ?
    queryString : new String(queryString.getBytes(), "iso-8859-1");

Кроме того, просмотрите эту статью ], Надеюсь, вам это поможет.

Вы можете использовать CharsetDecoder, настроенный для выдачи исключения, если обнаружены недопустимые символы:

 CharsetDecoder UTF8Decoder =
      Charset.forName("UTF8").newDecoder().onMalformedInput(CodingErrorAction.REPORT);

См. CodingErrorAction.REPORT

Вы можете захотеть включить в свои запросы известный параметр, например "... & encTest = ä €", чтобы безопасно различать разные кодировки.

Я работал над аналогичной проблемой «угадай кодировку». Лучшее решение предполагает знание кодировки. За исключением этого, вы можете делать обоснованные предположения, чтобы различать UTF-8 и ISO-8859-1.

Чтобы ответить на общий вопрос о том, как определить, правильно ли закодирована строка в UTF-8, вы можете проверить следующее:

1. Ни один байт не равен 0x00, 0xC0, 0xC1 или находится в диапазоне 0xF5-0xFF.
2. Конечным байтам (0x80-0xBF) всегда предшествует начальный байт 0xC2-0xF4 или другой конечный байт.
3. Начальные байты должен правильно предсказать количество хвостовых байтов (например, за любым байтом в 0xC2-0xDF должен следовать ровно один байт в диапазоне 0x80-0xBF).

Если строка проходит все эти тесты, то она интерпретируется как действительный UTF- 8. Это не гарантирует, что это UTF-8, но это хороший предсказатель.

Допустимый ввод в ISO-8859-1, скорее всего, не будет иметь управляющих символов (0x00-0x1F и 0x80-0x9F), кроме разделителей строк. Похоже, что 0x7F также не определен в ISO-8859-1.

(Я основываю это на страницах Википедии для UTF-8 и ISO-8859-1.)

вам может быть интересно следующее регулярное выражение:

http://blade.nagaokaut.ac.jp/cgi-bin/scat.rb/ruby/ruby-talk/185624

I используйте его в Ruby следующим образом:

module Encoding
    UTF8RGX = /\A(
        [\x09\x0A\x0D\x20-\x7E]            # ASCII
      | [\xC2-\xDF][\x80-\xBF]             # non-overlong 2-byte
      |  \xE0[\xA0-\xBF][\x80-\xBF]        # excluding overlongs
      | [\xE1-\xEC\xEE\xEF][\x80-\xBF]{2}  # straight 3-byte
      |  \xED[\x80-\x9F][\x80-\xBF]        # excluding surrogates
      |  \xF0[\x90-\xBF][\x80-\xBF]{2}     # planes 1-3
      | [\xF1-\xF3][\x80-\xBF]{3}          # planes 4-15
      |  \xF4[\x80-\x8F][\x80-\xBF]{2}     # plane 16
    )*\z/x unless defined? UTF8RGX

    def self.utf8_file?(fileName)
      count = 0
      File.open("#{fileName}").each do |l|
        count += 1
        unless utf8_string?(l)
          puts count.to_s + ": " + l
        end
      end
      return true
    end

    def self.utf8_string?(a_string)
      UTF8RGX === a_string
    end

end

Попробуйте использовать UTF-8 по умолчанию, как всегда, где бы вы ни коснулись. (База данных, память и пользовательский интерфейс)

Использование одной и той же кодировки может уменьшить множество проблем и фактически может повысить производительность вашего веб-сервера. На кодирование / декодирование тратится так много вычислительной мощности и памяти.