Удалите диакритические знаки (ń ǹ ň ñ ṅ ņ ṇ ṋ ṉ ̈ ɲ ƞ ᶇ ɳ ȵ) от символов Unicode

Основной пакет java.text был разработан для решения этого варианта использования (соответствие строки, не обращая внимания на диакритические знаки, регистр и т. д.).

Настройте Collator для сортировки по ПЕРВИЧНЫМ различиям в символах. При этом создайте CollationKey для каждой строки. Если весь ваш код написан на Java, вы можете напрямую использовать CollationKey . Если вам нужно сохранить ключи в базе данных или в индексе другого типа, вы можете преобразовать его в массив байтов .

Эти классы используют данные сворачивания регистра стандарта Unicode для определять, какие символы эквивалентны, и поддерживать различные стратегии декомпозиции .

Collator c = Collator.getInstance();
c.setStrength(Collator.PRIMARY);
Map<CollationKey, String> dictionary = new TreeMap<CollationKey, String>();
dictionary.put(c.getCollationKey("Björn"), "Björn");
...
CollationKey query = c.getCollationKey("bjorn");
System.out.println(dictionary.get(query)); // --> "Björn"

Обратите внимание, что подборщики зависят от локали. Это связано с тем, что «алфавитный порядок» в разных регионах различается (и даже со временем, как в случае с испанским языком). Класс Collator избавляет вас от необходимости отслеживать все эти правила и поддерживать их в актуальном состоянии.

Вы можете использовать класс нормализатора из java.text :

System.out.println(new String(Normalizer.normalize("ń ǹ ň ñ ṅ ņ ṇ ṋ", Normalizer.Form.NFKD).getBytes("ascii"), "ascii"));

Но есть еще кое-что, что нужно сделать, поскольку Java делает странные вещи с неконвертируемыми символами Unicode (он не игнорирует их и не генерирует исключение). Но я думаю, вы могли бы использовать это как отправную точку.

На сайте Unicode есть черновик отчета о сворачивании символов, в котором есть много соответствующего материала. См. В частности раздел 4.1. «Алгоритм складывания».

Здесь обсуждение и реализация удаления диакритических маркеров с использованием Perl.

Эти существующие вопросы SO связаны:

• Как преобразовать UTF-8 в US ASCII
• Как заменить диакритические символы на недиакритические

Unicode имеет определенные диатрические символы (которые являются составными символами), и строка может быть преобразована таким образом, чтобы символ и диатрика были разделены. Затем вы можете просто удалить диатрику из строки, и все, в основном, готово.

Для получения дополнительной информации о нормализации, декомпозиции и эквивалентности см. Стандарт Unicode на домашней странице Unicode .

Однако то, как вы можете этого добиться, зависит от платформы / OS / ..., над которой вы работаете. Если вы используете .NET, вы можете использовать метод String.Normalize , принимающий перечисление System.Text.NormalizationForm .

Для получения дополнительной информации о нормализации, декомпозиции и эквивалентности см. Стандарт Unicode на домашней странице Unicode .

Однако то, как вы можете этого добиться, зависит от платформы / OS / ..., над которой вы работаете. Если вы используете .NET, вы можете использовать метод String.Normalize , принимающий перечисление System.Text.NormalizationForm .

Для получения дополнительной информации о нормализации, декомпозиции и эквивалентности см. Стандарт Unicode на домашней странице Unicode .

Однако то, как вы можете этого добиться, зависит от платформы / OS / ..., над которой вы работаете. Если вы используете .NET, вы можете использовать метод String.Normalize , принимающий перечисление System.Text.NormalizationForm .

Самый простой способ (для меня) - просто поддерживать разреженный массив сопоставления, который просто преобразует ваши кодовые точки Unicode в отображаемые строки.

Например:

start    = 0x00C0
size     = 23
mappings = {
    "A","A","A","A","A","A","AE","C",
    "E","E","E","E","I","I","I", "I",
    "D","N","O","O","O","O","O"
}
start    = 0x00D8
size     = 6
mappings = {
    "O","U","U","U","U","Y"
}
start    = 0x00E0
size     = 23
mappings = {
    "a","a","a","a","a","a","ae","c",
    "e","e","e","e","i","i","i", "i",
    "d","n","o","o","o","o","o"
}
start    = 0x00F8
size     = 6
mappings = {
    "o","u","u","u","u","y"
}
: : :

Использование sparse массив позволит вам эффективно представлять замены, даже если они находятся в широко разнесенных разделах таблицы Unicode. Замена строк позволит произвольным последовательностям заменить ваши диакритические знаки (например, æ графема становится ae ).

Это не зависит от языка, поэтому, если у вас есть конкретный язык в виду, будут лучшие способы (хотя все они, вероятно, все равно дойдут до этого на самых низких уровнях).

В Windows и .NET я просто конвертирую, используя строковую кодировку. Таким образом я избегаю ручного сопоставления и кодирования.

Попробуйте поиграть с кодировкой строк.

На что следует обратить внимание: если вы пойдете по пути попытки получить единственный «перевод» каждого слова, вы можете упустить некоторые возможные альтернативы.

Например, на немецком языке, при замене «s-set» некоторые люди могут использовать «B», а другие - «ss». Или заменив umlauted o на «o» или «oe». Любое решение, которое вы придумаете, в идеале, я думаю, должно включать оба.

Для справки в будущем, вот метод расширения C #, который удаляет акценты.

public static class StringExtensions
{
    public static string RemoveDiacritics(this string str)
    {
        return new string(
            str.Normalize(NormalizationForm.FormD)
                .Where(c => CharUnicodeInfo.GetUnicodeCategory(c) != 
                            UnicodeCategory.NonSpacingMark)
                .ToArray());
    }
}
static void Main()
{
    var input = "ŃŅŇ ÀÁÂÃÄÅ ŢŤţť Ĥĥ àáâãäå ńņň";
    var output = input.RemoveDiacritics();
    Debug.Assert(output == "NNN AAAAAA TTtt Hh aaaaaa nnn");
}

Обратите внимание, что не все эти метки являются просто «метками» на некоторых " обычный "символ", который можно удалить, не меняя смысла.

В шведском языке å ä и ö - настоящие и правильные первоклассные символы, а не какой-то «вариант» какого-то другого символа. Они звучат иначе, чем все другие символы, они сортируются по-другому и заставляют слова менять значение («mätt» и «matt» - это два разных слова).