Как считать unicode (utf-8) / двоичный файл линию за линией

Приятное свойство UTF-8 заключается в том, что вы не должны быть не нужно декодировать, чтобы сравнить его. Заказ, возвращенный из StrCMP, будет то же самое, декодируете ли вы первым или нет. Так что просто прочитайте его как RAW BYTES и запустите STRCMP.

FGES () могут декодировать закодированные файлы utf-8, если вы используете Visual Studio 2005 и UP Отказ Измените свой код, как это:

infile = fopen(inname, "r, ccs=UTF-8");

Я знаю, что я плохой ... Но вы даже не принимаете При рассмотрении СБ! Большинство примеров здесь потерпят неудачу.

Редактировать:

Марки заказа байтов - это несколько байтов в Beadnig от файла, который можно использовать для идентификации кодирования файла. Некоторые редакторы добавляют их, и много раз они просто разбивают вещи в Faboulous Ways (я помню, как бороться с проблемами заголовков PHP в течение нескольких минут из-за этого вопроса).

Некоторые RTFM: http://en.wikipedia.org/wiki/byte_order_mark http://blogs.msdn.com/oldnewhing/archive/2004/03/24/95235.aspx Что такое XML BOM и Как мне обнаружить это?

В этой статье написана кодировка и рутина декодирования и Объясняется, как кодируется Unicode:

http://www.codeguru.com/cpp/misc/misc/multi-lingualsupport/article.php/c10451/

Это может быть легко настроить до C. Просто кодируйте свой ANSI или декодируйте строку UTF-8 и сделайте байт Сравните

Редактировать: после того, как OP сказал, что слишком сложно переписать функцию от C ++ Здесь шаблон:

Что нужно:
+ Бесплатная выделенная память (или подожди, пока процесс не заканчивается или не проигнорирует)
+ Добавить 4 байтовые функции
+ Скажите, что короткая короткая и int не гарантированно будет 2 и 4 байта долго (я знаю, но C действительно глуп!) И наконец
+ Найти некоторые другие ошибки

#include <stdlib.h>
#include <string.h>

#define         MASKBITS                0x3F
#define         MASKBYTE                0x80
#define         MASK2BYTES              0xC0
#define         MASK3BYTES              0xE0
#define         MASK4BYTES              0xF0
#define         MASK5BYTES              0xF8
#define         MASK6BYTES              0xFC

char* UTF8Encode2BytesUnicode(unsigned short* input)
{
   int size = 0,
       cindex = 0;
   while (input[size] != 0)
     size++;
   // Reserve enough place; The amount of 
   char* result = (char*) malloc(size);
   for (int i=0; i<size; i++)
   {
      // 0xxxxxxx
      if(input[i] < 0x80)
      {
         result[cindex++] = ((char) input[i]);
      }
      // 110xxxxx 10xxxxxx
      else if(input[i] < 0x800)
      {
         result[cindex++] = ((char)(MASK2BYTES | input[i] >> 6));
         result[cindex++] = ((char)(MASKBYTE | input[i] & MASKBITS));
      }
      // 1110xxxx 10xxxxxx 10xxxxxx
      else if(input[i] < 0x10000)
      {
         result[cindex++] = ((char)(MASK3BYTES | input[i] >> 12));
         result[cindex++] = ((char)(MASKBYTE | input[i] >> 6 & MASKBITS));
         result[cindex++] = ((char)(MASKBYTE | input[i] & MASKBITS));
      }
   }
}

wchar_t* UTF8Decode2BytesUnicode(char* input)
{
  int size = strlen(input);
  wchar_t* result = (wchar_t*) malloc(size*sizeof(wchar_t));
  int rindex = 0,
      windex = 0;
  while (rindex < size)
  {
      wchar_t ch;

      // 1110xxxx 10xxxxxx 10xxxxxx
      if((input[rindex] & MASK3BYTES) == MASK3BYTES)
      {
         ch = ((input[rindex] & 0x0F) << 12) | (
               (input[rindex+1] & MASKBITS) << 6)
              | (input[rindex+2] & MASKBITS);
         rindex += 3;
      }
      // 110xxxxx 10xxxxxx
      else if((input[rindex] & MASK2BYTES) == MASK2BYTES)
      {
         ch = ((input[rindex] & 0x1F) << 6) | (input[rindex+1] & MASKBITS);
         rindex += 2;
      }
      // 0xxxxxxx
      else if(input[rindex] < MASKBYTE)
      {
         ch = input[rindex];
         rindex += 1;
      }

      result[windex] = ch;
   }
}

char* getUnicodeToUTF8(wchar_t* myString) {
  int size = sizeof(wchar_t);
  if (size == 1)
    return (char*) myString;
  else if (size == 2)
    return UTF8Encode2BytesUnicode((unsigned short*) myString);
  else
    return UTF8Encode4BytesUnicode((unsigned int*) myString);
}

Просто для урегулирования аргумента BOM. Вот файл из Блокнота

 [paul@paul-es5 tests]$ od -t x1 /mnt/hgfs/cdrive/test.txt
 0000000 ef bb bf 61 0d 0a 62 0d 0a 63
 0000012

с домом в начале

лично я не думаю, что должен быть спецификацией (с момента своего формата байта), но это не точка