c ++ windows: Есть ли способ конвертировать из _UNICODE_STRING в std :: string? [Дубликат]

Я рекомендую избегать std::wstring в Windows или в другом месте, за исключением случаев, когда это требуется интерфейсом, или где-нибудь рядом с вызовами Windows API и соответствующими преобразованиями кодировки в качестве синтаксического сахара.

Мой взгляд обобщен в http://utf8everywhere.org , из которых я являюсь соавтором.

Если ваше приложение не ориентировано на API, например. в основном приложение UI, рекомендуется хранить строки Unicode в std :: string и кодироваться в UTF-8, выполняя преобразование около вызовов API. Преимущества, изложенные в статье, перевешивают явное раздражение конверсии, особенно в сложных приложениях. Это вдвойне подходит для многоплатформенной и библиотечной разработки.

И теперь, отвечая на ваши вопросы:

1. Несколько слабых причин. Он существует по историческим причинам, где считается, что широкополосные каналы являются надлежащим способом поддержки Unicode. Теперь он используется для интерфейса API, которые предпочитают строки UTF-16. Я использую их только в непосредственной близости от таких вызовов API.
2. Это не имеет никакого отношения к std :: string. Он может содержать любую кодировку, которую вы вкладываете в нее. Вопрос только в том, как вы относитесь к его содержанию. Моя рекомендация - UTF-8, поэтому он сможет корректно хранить все символы юникода. Это обычная практика в Linux, но я думаю, что Windows также должны это делать.
3. Нет.
4. Широкий символ - запутанное имя. В первые дни Unicode существовало убеждение, что символ может быть закодирован в два байта, отсюда и название. Сегодня это означает «любая часть персонажа, длина которой составляет два байта». UTF-16 рассматривается как последовательность таких пар байтов (aka Wide characters). Символ в UTF-16 принимает одну или две пары.

1. Если вы хотите сохранить символы «wide» (Unicode).
2. Да: 255 из них (исключая 0).
3. Да.
4. Вот вступительная статья: http://www.joelonsoftware.com/articles/Unicode.html

Итак, каждый читатель здесь должен иметь четкое представление о фактах, ситуации.

Мое прагматическое заключение шокирует просто: все, что C ++ (и STL) «кодирование символов» существенно нарушено и бесполезно. Виноват это в Microsoft или нет, это все равно не поможет.

Мое решение, после глубокого расследования, много разочарования и последующего опыта заключается в следующем:

1. accept , что вы должны нести ответственность за свой материал для кодирования и преобразования (и вы увидите, что большая часть его довольно тривиальная)
2. используют std :: string для любых кодированных строк UTF-8 (только a typedef std::string UTF8String)
3. принимают, что такой объект UTF8String является просто тупым, но дешевым контейнером. Никогда не обращайтесь к ним и / или не манипулируйте ими непосредственно (без поиска, замены и т. Д.). Вы могли бы, но вы действительно просто действительно не хотите тратить свое время на написание алгоритмов манипуляции текста для многобайтовых строк! Даже если другие люди уже делали такие глупые вещи, не делайте этого! Будь как будет! (Ну, есть сценарии, где это имеет смысл ... просто используйте библиотеку ICU для них).
4. использовать std :: wstring для кодированных строк UCS-2 (typedef std::wstring UCS2String) - это компромисс , и концессию на беспорядок, введенный WIN32 API). UCS-2 является достаточным для большинства из нас (подробнее об этом позже ...).
5. использует экземпляры UCS2String всякий раз, когда требуется доступ к символьным символам (чтение, манипулирование и т. Д.). Любая обработка на основе символов должна выполняться в N-многобайтовом представлении. Это просто, быстро и легко.
6. добавить две служебные функции для преобразования back & amp; между UTF-8 и UCS-2:

   UCS2String ConvertToUCS2( const UTF8String &str );
   UTF8String ConvertToUTF8( const UCS2String &str );
   

Преобразования просты, Google должен помочь здесь ...

Вот и все. Используйте UTF8String везде, где важна память, и для всех входов / выходов UTF-8. Используйте UCS2String везде, где строка должна анализироваться и / или обрабатываться. Вы можете конвертировать между этими двумя представлениями в любое время.

Альтернативы & amp; Улучшения

• преобразования из & amp; однобайтовые кодировки символов (например, ISO-8859-1) могут быть реализованы с помощью простых таблиц перевода, например. const wchar_t tt_iso88951[256] = {0,1,2,...}; и соответствующий код для преобразования в & amp; из UCS2.
• , если UCS-2 недостаточно, чем переключиться на UCS-4 (typedef std::basic_string<uint32_t> UCS2String)

ICU или другие библиотеки Unicode?

Для продвинутых материалов.

1. , когда вы хотите использовать строки Unicode, а не только ascii, полезно для интернационализации
2. да, но это не очень хорошо работает с 0
3. , не зная о каких-либо что не
4. широкий символ является специфичным для компилятора способом обработки представления фиксированной длины символа Юникода, для MSVC это 2-байтовый символ, для gcc я понимаю, что это 4 байта. и +1 для http://www.joelonsoftware.com/articles/Unicode.html

1. Если вы хотите иметь широкие символы, хранящиеся в вашей строке. wide зависит от реализации. Visual C ++ по умолчанию имеет значение 16 бит, если я правильно помню, в то время как настройки GCC по умолчанию зависят от цели. Здесь 32 бита. Обратите внимание: wchar_t (широкий тип символа) не имеет ничего общего с юникодом. Просто гарантируется, что он может хранить все элементы самого большого набора символов, поддерживаемые реализацией его локалями, и, по крайней мере, до тех пор, пока char. Вы можете сохранить строки unicode в std::string с помощью кодировки utf-8. Но это не будет понимать смысл кодов Unicode. Таким образом, str.size() не даст вам количество логических символов в вашей строке, а просто количество элементов char или wchar_t, хранящихся в этой строке / wstring. По этой причине пользователи обложек gtk / glib C ++ разработали класс Glib::ustring , который может обрабатывать utf-8. Если ваш wchar_t имеет длину 32 бита, вы можете использовать utf-32 в качестве кодировки в Юникоде, и вы можете хранить строки с кодом юникода и с использованием фиксированного (utf-32 фиксированной длины). Это означает, что функция s.size() вашей wstring будет , затем вернет правильное количество логических символов wchar_t элементов и .
2. Да, char всегда имеет длину не менее 8 бит, что означает, что он может хранить все значения ASCII.
3. Да, все основные компиляторы поддерживают его.

Хороший вопрос! Я думаю, что DATA ENCODING (иногда CHARSET также участвует) является MEMORY EXPRESSION MECHANISM, чтобы сохранить данные в файл или передавать данные по сети, поэтому я отвечаю на этот вопрос следующим образом:

1.Когда я должен использовать std: : wstring over std :: string?

Если платформа программирования или функция API являются однобайтными, и мы хотим обрабатывать или анализировать некоторые данные в формате unicode, например, читать из файла Windows .REG или сети Windows 2-байтовый поток, мы должны объявить переменную std :: wstring, чтобы упростить их обработку. например: wstring ws = L "中国 a" (6 октетов: 0x4E2D 0x56FD 0x0061), мы можем использовать ws [0] для получения символов '中' и ws [1] для получения символов '国' и ws [2] get character 'a' и т. д.

2.Can std :: string содержит весь набор символов ASCII, включая специальные символы?

Да. Но обратите внимание: American ASCII означает, что каждый октет 0x00 ~ 0xFF для одного символа, включая печатный текст, такой как «123abc & amp; * _ & amp;» и вы сказали специальный, в основном напечатайте его как «.». избегайте запутывания редакторов или терминалов. И некоторые другие страны расширяют свою собственную кодировку «ASCII», например. Китайцы, используют 2 октета для обозначения одного персонажа.

3.Is std :: wstring поддерживается всеми популярными компиляторами C ++?

Возможно, или в основном. Я использовал: VC ++ 6 и GCC 3.3, YES

4. Что такое «широкий символ»?

Широкий символ в основном указывает использование 2 октетов или 4 октета всех стран. 2 октета UCS2 представляет собой репрезентативную выборку, а далее, например, Английский 'a', его память составляет 2 октета 0x0061 (vs в ASCII 'a - 1 октет 0x61)

1) Как упоминалось Грегом, wstring полезна для интернационализации, то есть когда вы будете выпускать свой продукт на других языках, кроме английского

4) Проверьте это для широкого символа http: / /en.wikipedia.org/wiki/Wide_character

Приложения, которые не удовлетворяются только 256 различными символами, имеют варианты использования широких символов (более 8 бит) или кодирования переменной длины (многобайтовая кодировка в терминологии C ++), таких как UTF-8. Широким символам обычно требуется больше места, чем кодирование с переменной длиной, но они быстрее обрабатываются. Многоязычные приложения, которые обрабатывают большие объемы текста, обычно используют широкие символы при обработке текста, но преобразуют его в UTF-8, когда хранят его на диске.

Единственное отличие между string и wstring - тип данных символов, которые они хранят. Строка хранит char s, размер которой должен быть не менее 8 бит, поэтому вы можете использовать строки для обработки, например. ASCII, ISO-8859-15 или UTF-8. В стандарте ничего не говорится о наборе символов или кодировке.

Практически каждый компилятор использует набор символов, первые 128 символов которого соответствуют ASCII. Это также относится к компиляторам, использующим кодировку UTF-8. Важное значение, которое следует учитывать при использовании строк в UTF-8 или какой-либо другой кодировке переменной длины, состоит в том, что индексы и длины измеряются в байтах, а не в символах.

Тип данных wstring wchar_t, размер которого не определен в стандарте, за исключением того, что он должен быть как минимум равным char, обычно 16 бит или 32 бита. wstring может использоваться для обработки текста в реализации, определенной широкосимвольной кодировкой. Поскольку кодировка не определена в стандарте, преобразовать между строками и wstrings непросто. Нельзя предположить, что wstrings также будет иметь кодировку с фиксированной длиной.

Если вам не нужна поддержка нескольких языков, вам может быть хорошо, если вы используете только обычные строки. С другой стороны, если вы пишете графическое приложение, часто бывает, что API поддерживает только широкие символы. Тогда вы, вероятно, захотите использовать те же самые широкие символы при обработке текста. Имейте в виду, что UTF-16 является кодировкой переменной длины, что означает, что вы не можете считать length(), чтобы вернуть количество символов. Если API использует кодировку с фиксированной длиной, такую ​​как UCS-2, обработка становится легкой. Преобразование между широкими символами и UTF-8 трудно сделать переносимым образом, но, опять же, API вашего пользовательского интерфейса, вероятно, поддерживает преобразование.