Я хочу перебрать каждый символ строки Unicode, обрабатывая каждую суррогатную пару и комбинируя последовательность символов как единое целое ] (одна графема).
Текст «नमस्ते» состоит из кодовых точек: U + 0928, U + 092E, U + 0938, U + 094D, U + 0924, U + 0947
, из которых U + 0938
и U + 0947
являются объединяющими метками .
static void Main(string[] args)
{
const string s = "नमस्ते";
Console.WriteLine(s.Length); // Ouptuts "6"
var l = 0;
var e = System.Globalization.StringInfo.GetTextElementEnumerator(s);
while(e.MoveNext()) l++;
Console.WriteLine(l); // Outputs "4"
}
Итак, у нас это есть в .NET. У нас также есть Win32 CharNextW ()
#include <Windows.h>
#include <iostream>
#include <string>
int main()
{
const wchar_t * s = L"नमस्ते";
std::cout << std::wstring(s).length() << std::endl; // Gives "6"
int l = 0;
while(CharNextW(s) != s)
{
s = CharNextW(s);
++l;
}
std::cout << l << std::endl; // Gives "4"
return 0;
}
Оба известных мне способа специфичны для Microsoft. Есть ли переносимые способы сделать это?
UnicodeString (s) .length ()
по-прежнему дает 6). Было бы приемлемым ответом указать на связанную функцию / модуль в ICU. @McDowell дал подсказку использовать BreakIterator
от ICU, который, я думаю, можно рассматривать как де-факто кроссплатформенный стандарт для работы с Unicode. Вот' s пример кода, демонстрирующий его использование (поскольку примеры на удивление редки):
#include <unicode/schriter.h>
#include <unicode/brkiter.h>
#include <iostream>
#include <cassert>
#include <memory>
int main()
{
const UnicodeString str(L"नमस्ते");
{
// StringCharacterIterator doesn't seem to recognize graphemes
StringCharacterIterator iter(str);
int count = 0;
while(iter.hasNext())
{
++count;
iter.next();
}
std::cout << count << std::endl; // Gives "6"
}
{
// BreakIterator works!!
UErrorCode err = U_ZERO_ERROR;
std::unique_ptr<BreakIterator> iter(
BreakIterator::createCharacterInstance(Locale::getDefault(), err));
assert(U_SUCCESS(err));
iter->setText(str);
int count = 0;
while(iter->next() != BreakIterator::DONE) ++count;
std::cout << count << std::endl; // Gives "4"
}
return 0;
}