HTML UTF-8 и файлы CSS с BOM (и как удалить BOM с Python),

Вы можете использовать что-то подобное, чтобы удалить BOM:

import os, codecs
def remove_bom_from_file(filename, newfilename):
    if os.path.isfile(filename):
        # open file
        f = open(filename,'rb')

        # read first 4 bytes
        header = f.read(4)

        # check if we have BOM...
        bom_len = 0
        encodings = [ ( codecs.BOM_UTF32, 4 ),
            ( codecs.BOM_UTF16, 2 ),
            ( codecs.BOM_UTF8, 3 ) ]

        # ... and remove appropriate number of bytes    
        for h, l in encodings:
            if header.startswith(h):
                bom_len = l
                break
        f.seek(0)
        f.read(bom_len)

        # copy the rest of file
        contents = f.read() 
        nf = open(newfilename)
        nf.write(contents)
        nf.close()

Ранее принятый ответ НЕПРАВИЛЬНЫЙ.

u '\ ufffe' не является персонажем. Если вы получите его в строке Unicode, кто-то сильно набросился.

Спецификация (также известная как ZERO WIDTH NO-BREAK SPACE): u '\ ufeff'

>>> UNICODE_BOM = u'\N{ZERO WIDTH NO-BREAK SPACE}'
>>> UNICODE_BOM
u'\ufeff'
>>>

Прочтите это (Ctrl-F поиск спецификации) и это и это (Ctrl-F поиск спецификации).

Вот правильный и устойчивый к опечаткам / логическим ошибкам ответ:

Расшифруйте введенные данные в unicode_str . Затем сделайте следующее:

# If I mistype the following, it's very likely to cause a SyntaxError.
UNICODE_BOM = u'\N{ZERO WIDTH NO-BREAK SPACE}'
if unicode_str and unicode_str[0] == UNICODE_BOM:
    unicode_str = unicode_str[1:]

Бонус: использование именованной константы дает вашим читателям немного больше подсказки о том, что происходит, чем набор кажущихся произвольными гексоглиф.

Обновление К сожалению, похоже, что в стандартной библиотеке Python нет подходящей именованной константы.

Увы, модуль кодеков предоставляет только «ловушку и заблуждение»:

>>> import pprint, codecs
>>> pprint.pprint([(k, getattr(codecs, k)) for k in dir(codecs) if k.startswith('BOM')])
[('BOM', '\xff\xfe'),   #### aarrgghh!! ####
 ('BOM32_BE', '\xfe\xff'),
 ('BOM32_LE', '\xff\xfe'),
 ('BOM64_BE', '\x00\x00\xfe\xff'),
 ('BOM64_LE', '\xff\xfe\x00\x00'),
 ('BOM_BE', '\xfe\xff'),
 ('BOM_LE', '\xff\xfe'),
 ('BOM_UTF16', '\xff\xfe'),
 ('BOM_UTF16_BE', '\xfe\xff'),
 ('BOM_UTF16_LE', '\xff\xfe'),
 ('BOM_UTF32', '\xff\xfe\x00\x00'),
 ('BOM_UTF32_BE', '\x00\x00\xfe\xff'),
 ('BOM_UTF32_LE', '\xff\xfe\x00\x00'),
 ('BOM_UTF8', '\xef\xbb\xbf')]
>>>

Обновление 2 Если вы еще не декодировали свой ввод и хотите проверить его на наличие спецификации, вам нужно проверить ДВЕ разных спецификаций для UTF-16 и как минимум ДВЕ разных спецификаций для UTF-32. Если бы у каждого был только один путь, тогда вам не понадобилась бы спецификация, не так ли?

Вот дословно, не уточненное из моего собственного кода, мое решение этой проблемы:

def check_for_bom(s):
    bom_info = (
        ('\xFF\xFE\x00\x00', 4, 'UTF-32LE'),
        ('\x00\x00\xFE\xFF', 4, 'UTF-32BE'),
        ('\xEF\xBB\xBF',     3, 'UTF-8'),
        ('\xFF\xFE',         2, 'UTF-16LE'),
        ('\xFE\xFF',         2, 'UTF-16BE'),
        )
    for sig, siglen, enc in bom_info:
        if s.startswith(sig):
            return enc, siglen
    return None, 0

Входные s должны быть по крайней мере, первые 4 байта вашего ввода. Он возвращает кодировку, которая может использоваться для декодирования части ввода после спецификации, плюс длина спецификации (если есть).

Если вы параноик, вы можете разрешить еще 2 (нестандартных) упорядочивания UTF-32, но Python не предоставляет для них кодировку, и я никогда не слышал о фактическом возникновении, поэтому я не беспокоить.

Проверьте первый символ после декодирования, чтобы убедиться, что это спецификация:

if u.startswith(u'\ufeff'):
  u = u[1:]