Java: читатели и кодировка

Как Читатель узнает, что он должен использовать UTF-8?

Обычно вы указываете это сами в InputStreamReader . У него есть конструктор, принимающий кодировку символов. Например,

Reader reader = new InputStreamReader(new FileInputStream("c:/foo.txt"), "UTF-8");

Все другие считыватели (насколько мне известно) используют кодировку символов по умолчанию платформы, которая действительно может быть сама по себе неправильной кодировкой (например, -cough- CP-1252

Теоретически можно также автоматически определять кодировку символов на основе метки порядка байтов . Это отличает несколько кодировок Unicode от других кодировок. В Java SE, к сожалению, нет API для этого, но вы можете приготовить самодельный, который можно использовать для замены InputStreamReader , как в приведенном выше примере:

public class UnicodeReader extends Reader {
    private static final int BOM_SIZE = 4;
    private final InputStreamReader reader;

    /**
     * Construct UnicodeReader
     * @param in Input stream.
     * @param defaultEncoding Default encoding to be used if BOM is not found,
     * or <code>null</code> to use system default encoding.
     * @throws IOException If an I/O error occurs.
     */
    public UnicodeReader(InputStream in, String defaultEncoding) throws IOException {
        byte bom[] = new byte[BOM_SIZE];
        String encoding;
        int unread;
        PushbackInputStream pushbackStream = new PushbackInputStream(in, BOM_SIZE);
        int n = pushbackStream.read(bom, 0, bom.length);

        // Read ahead four bytes and check for BOM marks.
        if ((bom[0] == (byte) 0xEF) && (bom[1] == (byte) 0xBB) && (bom[2] == (byte) 0xBF)) {
            encoding = "UTF-8";
            unread = n - 3;
        } else if ((bom[0] == (byte) 0xFE) && (bom[1] == (byte) 0xFF)) {
            encoding = "UTF-16BE";
            unread = n - 2;
        } else if ((bom[0] == (byte) 0xFF) && (bom[1] == (byte) 0xFE)) {
            encoding = "UTF-16LE";
            unread = n - 2;
        } else if ((bom[0] == (byte) 0x00) && (bom[1] == (byte) 0x00) && (bom[2] == (byte) 0xFE) && (bom[3] == (byte) 0xFF)) {
            encoding = "UTF-32BE";
            unread = n - 4;
        } else if ((bom[0] == (byte) 0xFF) && (bom[1] == (byte) 0xFE) && (bom[2] == (byte) 0x00) && (bom[3] == (byte) 0x00)) {
            encoding = "UTF-32LE";
            unread = n - 4;
        } else {
            encoding = defaultEncoding;
            unread = n;
        }

        // Unread bytes if necessary and skip BOM marks.
        if (unread > 0) {
            pushbackStream.unread(bom, (n - unread), unread);
        } else if (unread < -1) {
            pushbackStream.unread(bom, 0, 0);
        }

        // Use given encoding.
        if (encoding == null) {
            reader = new InputStreamReader(pushbackStream);
        } else {
            reader = new InputStreamReader(pushbackStream, encoding);
        }
    }

    public String getEncoding() {
        return reader.getEncoding();
    }

    public int read(char[] cbuf, int off, int len) throws IOException {
        return reader.read(cbuf, off, len);
    }

    public void close() throws IOException {
        reader.close();
    }
}

Отредактируйте в качестве ответа на ваше редактирование :

Таким образом, кодировка зависит от ОС. Это означает, что не во всех ОС это верно:

 'a' == 97

Нет, это неправда. Кодировка ASCII (которая содержит 128 символов, 0x00 до 0x7F ) является основой всех других кодировок символов. Только символы вне кодировки ASCII могут отображаться иначе в другой кодировке. Кодировки ISO-8859 охватывают символы в диапазоне ASCII с такими же кодовыми точками. Кодировки Unicode охватывают символы из диапазона ISO-8859-1 с одинаковыми кодовыми точками.

Вы можете найти каждый из этих блогов интересным чтением:

1. Абсолют Минимум Каждый разработчик программного обеспечения должен абсолютно точно знать о Unicode и наборах символов (никаких оправданий! ) (более теоретический из двух)
2. Unicode - как правильно ввести символы? (более практичный из двух)