SQLite, Python, unicode, и non-utf данные

Я запустил путем попытки сохранить строки в sqlite использование Python и получил сообщение:

sqlite3. ProgrammingError: Вы не должны использовать 8-разрядные строки байтов, если Вы не используете text_factory, который может интерпретировать 8-разрядные строки байтов (как text_factory = ул.). Настоятельно рекомендовано, что Вы вместо этого просто переключаете свое приложение на строки Unicode.

Хорошо, я переключился на строки Unicode. Затем я начал получать сообщение:

sqlite3. OperationalError: не Мог декодировать к столбцу UTF-8 'tag_artist' с текстом 'Sigur Ros'

при попытке получить данные из дб. Больше исследования и я начали кодировать его в utf8, но затем 'Sigur Ros' начинают быть похожими 'на Rós' Sigur

примечание: Моя консоль была установлена отобразиться в 'latin_1' как @John Machin, на который указывают.

Что дает? После чтения этого описывая точно ту же ситуацию я нахожусь в, кажется, как будто совет состоит в том, чтобы проигнорировать другой совет и использовать 8-разрядные строки байтов, в конце концов.

Я не знал много о unicode и utf, прежде чем я запустил этот процесс. Я изучил вполне немного в прошлые часы пары, но я все еще незнаком о том, существует ли способ правильно преобразовать 'ó' от латинского 1 до utf-8 и не исказить его. Если бы нет, почему sqlite 'настоятельно рекомендовал' бы, чтобы я переключил свое приложение на строки unicode?

Я собираюсь обновить этот вопрос со сводкой и некоторым примером кода всего, что я изучил за прошлые 24 часа так, чтобы у кого-то в моей обуви могло быть легкое (er) руководство. Если информация, которую я размещаю, является неправильной или вводящей в заблуждение, всегда скажите мне, и я обновлю, или один из Вас, старшие парни могут обновить.

Сводка ответов

Позвольте мне сначала заявить цель насколько я понимаю. Цель в обработке различной кодировки, при попытке преобразовать между ними, состоит в том, чтобы понять, каково Ваше исходное кодирование, затем преобразуйте его в использование unicode что исходное кодирование, затем преобразуйте его в свое желаемое кодирование. Unicode является основой, и кодировка является отображениями подмножеств той основы. utf_8 имеет пространство для каждого символа в unicode, но потому что они не находятся в том же месте как, например, latin_1, строка, закодированная в utf_8 и отправленная в latin_1 консоль, не посмотрит способ, которым Вы ожидаете. В Python процесс получения к unicode и в другое кодирование похож:

str.decode('source_encoding').encode('desired_encoding')

или если ул. уже находится в unicode

str.encode('desired_encoding')

Для sqlite я на самом деле не хотел кодировать его снова, я хотел декодировать его и оставить его в unicode формате. Вот четыре вещи, о которых Вы, возможно, должны были бы знать, поскольку Вы пытаетесь работать с unicode и кодировкой в Python.

1. Кодирование строки, Вы хотите работать с, и кодирование Вас, хочет получить его к.
2. Системное кодирование.
3. Консольное кодирование.
4. Кодирование исходного файла

Разработка:

(1) При чтении строки из источника это должно иметь некоторое кодирование, как latin_1 или utf_8. В моем случае я получаю строки от имен файлов, поэтому к сожалению, я мог получать любой вид кодирования. Windows XP использует UCS-2 (система Unicode) как ее собственный строковый тип, который походит на обман мне. К счастью, для меня, символы в большинстве имен файлов не будут составленными больше чем из одного исходного типа кодировки, и я думаю, что все мои были или полностью latin_1, полностью utf_8, или просто ASCII (который является подмножеством обоих из тех). Таким образом, я просто считал их и декодировал их, как будто они были все еще в latin_1 или utf_8. Возможно, тем не менее, что у Вас могли быть latin_1 и utf_8 и независимо от того, что другие символы смешали в имени файла в Windows. Иногда те символы могут обнаружиться как поля, другие времена, они просто выглядят искаженными, и другие времена, они выглядят корректными (символы с диакритикой и этажерка). Хождение дальше.

(2) Python имеет систему по умолчанию, кодирующую, который установлен, когда Python запускается и не может быть изменен во время времени выполнения. Посмотрите здесь для деталей. Грязная сводка... хорошо вот является файлом, который я добавил:

\# sitecustomize.py  
\# this file can be anywhere in your Python path,  
\# but it usually goes in ${pythondir}/lib/site-packages/  
import sys  
sys.setdefaultencoding('utf_8')  

Это системное кодирование является тем, которое привыкает, когда Вы используете unicode ("ул.") функция без любых других параметров кодирования. Сказать, что иначе, Python пытается декодировать "ул." к unicode на основе системного кодирования по умолчанию.

(3) Если Вы используете НЕАКТИВНЫЙ или Python командной строки, я думаю, что Ваша консоль отобразится согласно системному кодированию по умолчанию. Я использую pydev с затмением по некоторым причинам, таким образом, я должен был войти в свои настройки проекта, отредактировать свойства конфигурации запуска моего сценария тестирования, перейдите к вкладке Common и измените консоль от латинского 1 до utf-8 так, чтобы я мог визуально подтвердить то, что я делал, работал.

(4) Если Вы хотите иметь некоторые тестовые строки, например,

test_str = "ó"

в Вашем исходном коде затем необходимо будет сказать Python, какое кодирование Вы используете в том файле. (К вашему сведению: когда я ввел кодирование с опечаткой, я имел к ctrl-Z, потому что мой файл стал нечитабельным.) Это легко выполняется путем помещения строки как так наверху файла исходного кода:

# -*- coding: utf_8 -*-

Если у Вас нет этой информации, Python пытается проанализировать Ваш код как ASCII по умолчанию, и таким образом:

SyntaxError: Non-ASCII character '\xf3' in file _redacted_ on line 81, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

После того как Ваша программа работает правильно, или, если Вы не будете использовать консоль Python или какую-либо другую консоль для рассмотрения вывода, то затем Вы будете, вероятно, действительно только заботиться о № 1 в списке. Системное значение по умолчанию и консольное кодирование не настолько важны, если Вы не должны смотреть на вывод, и/или Вы используете встроенный unicode () функция (без любых параметров кодирования) вместо string.decode () функция. Я записал демонстрационную функцию, которую я вставлю в нижнюю часть этой гигантской путаницы, что я надеюсь, правильно демонстрирует объекты в моем списке. Вот часть вывода, когда я выполняю символ 'ó' через демонстрационную функцию, показывая, как различные методы реагируют на символ, как введено. Мое системное кодирование и консольный вывод оба установлены на utf_8 для этого выполнения:

'�' = original char  repr(char)='\xf3'
'?' = unicode(char) ERROR: 'utf8' codec can't decode byte 0xf3 in position 0: unexpected end of data
'ó' = char.decode('latin_1')  repr(char.decode('latin_1'))=u'\xf3'
'?' = char.decode('utf_8')  ERROR: 'utf8' codec can't decode byte 0xf3 in position 0: unexpected end of data

Теперь я изменю систему и консольное кодирование к latin_1, и я получаю этот вывод для того же входа:

'ó' = original char  repr(char)='\xf3'
'ó' = unicode(char)  repr(unicode(char))=u'\xf3'
'ó' = char.decode('latin_1')  repr(char.decode('latin_1'))=u'\xf3'
'?' = char.decode('utf_8')  ERROR: 'utf8' codec can't decode byte 0xf3 in position 0: unexpected end of data

Заметьте, что 'исходные' символьные дисплеи правильно и встроенный unicode () функционируют работы теперь.

Теперь я возвращаю свой консольный вывод к utf_8.

'�' = original char  repr(char)='\xf3'
'�' = unicode(char)  repr(unicode(char))=u'\xf3'
'�' = char.decode('latin_1')  repr(char.decode('latin_1'))=u'\xf3'
'?' = char.decode('utf_8')  ERROR: 'utf8' codec can't decode byte 0xf3 in position 0: unexpected end of data

Здесь все все еще работает то же прошлым разом, когда но консоль не может отобразить вывод правильно. И т.д. Функция ниже также отображает больше информации, которую это и надо надеяться помогло бы кому-то выяснить, где разрыв в их понимании. Я знаю, что вся эта информация находится в других местах и более тщательно имела дело с там, но я надеюсь, что это было бы хорошей точкой начала для кого-то пытающегося получить кодирование с Python и/или sqlite. Идеи являются прекрасными, но иногда исходный код может сохранить Вас день или две из попытки выяснить то, что функции делают что.

Отказ от ответственности: Я не эксперт по кодированию, я соединил это для помощи моему собственному пониманию. Я продолжал основываться на нем, когда я должен был, вероятно, начать передавать функции как аргументы для предотвращения такого большого количества избыточного кода, поэтому если я могу я делать это более кратким. Кроме того, utf_8 и latin_1 ни в коем случае не являются единственными схемами кодирования, они - просто два, которые я играл вокруг с тем, потому что я думаю, что они обрабатывают все, в чем я нуждаюсь. Добавьте свои собственные схемы кодирования к демонстрационной функции и протестируйте свой собственный вход.

Еще одна вещь: существуют по-видимому сумасшедшие разработчики приложений, делающие жизнь, трудную в Windows.

#!/usr/bin/env python
# -*- coding: utf_8 -*-

import os
import sys

def encodingDemo(str):
    validStrings = ()
    try:        
        print "str =",str,"{0} repr(str) = {1}".format(type(str), repr(str))
        validStrings += ((str,""),)
    except UnicodeEncodeError as ude:
        print "Couldn't print the str itself because the console is set to an encoding that doesn't understand some character in the string.  See error:\n\t",
        print ude
    try:
        x = unicode(str)
        print "unicode(str) = ",x
        validStrings+= ((x, " decoded into unicode by the default system encoding"),)
    except UnicodeDecodeError as ude:
        print "ERROR.  unicode(str) couldn't decode the string because the system encoding is set to an encoding that doesn't understand some character in the string."
        print "\tThe system encoding is set to {0}.  See error:\n\t".format(sys.getdefaultencoding()),  
        print ude
    except UnicodeEncodeError as uee:
        print "ERROR.  Couldn't print the unicode(str) because the console is set to an encoding that doesn't understand some character in the string.  See error:\n\t",
        print uee
    try:
        x = str.decode('latin_1')
        print "str.decode('latin_1') =",x
        validStrings+= ((x, " decoded with latin_1 into unicode"),)
        try:        
            print "str.decode('latin_1').encode('utf_8') =",str.decode('latin_1').encode('utf_8')
            validStrings+= ((x, " decoded with latin_1 into unicode and encoded into utf_8"),)
        except UnicodeDecodeError as ude:
            print "The string was decoded into unicode using the latin_1 encoding, but couldn't be encoded into utf_8.  See error:\n\t",
            print ude
    except UnicodeDecodeError as ude:
        print "Something didn't work, probably because the string wasn't latin_1 encoded.  See error:\n\t",
        print ude
    except UnicodeEncodeError as uee:
        print "ERROR.  Couldn't print the str.decode('latin_1') because the console is set to an encoding that doesn't understand some character in the string.  See error:\n\t",
        print uee
    try:
        x = str.decode('utf_8')
        print "str.decode('utf_8') =",x
        validStrings+= ((x, " decoded with utf_8 into unicode"),)
        try:        
            print "str.decode('utf_8').encode('latin_1') =",str.decode('utf_8').encode('latin_1')
        except UnicodeDecodeError as ude:
            print "str.decode('utf_8').encode('latin_1') didn't work.  The string was decoded into unicode using the utf_8 encoding, but couldn't be encoded into latin_1.  See error:\n\t",
            validStrings+= ((x, " decoded with utf_8 into unicode and encoded into latin_1"),)
            print ude
    except UnicodeDecodeError as ude:
        print "str.decode('utf_8') didn't work, probably because the string wasn't utf_8 encoded.  See error:\n\t",
        print ude
    except UnicodeEncodeError as uee:
        print "ERROR.  Couldn't print the str.decode('utf_8') because the console is set to an encoding that doesn't understand some character in the string.  See error:\n\t",uee

    print
    print "Printing information about each character in the original string."
    for char in str:
        try:
            print "\t'" + char + "' = original char {0} repr(char)={1}".format(type(char), repr(char))
        except UnicodeDecodeError as ude:
            print "\t'?' = original char  {0} repr(char)={1} ERROR PRINTING: {2}".format(type(char), repr(char), ude)
        except UnicodeEncodeError as uee:
            print "\t'?' = original char  {0} repr(char)={1} ERROR PRINTING: {2}".format(type(char), repr(char), uee)
            print uee    

        try:
            x = unicode(char)        
            print "\t'" + x + "' = unicode(char) {1} repr(unicode(char))={2}".format(x, type(x), repr(x))
        except UnicodeDecodeError as ude:
            print "\t'?' = unicode(char) ERROR: {0}".format(ude)
        except UnicodeEncodeError as uee:
            print "\t'?' = unicode(char)  {0} repr(char)={1} ERROR PRINTING: {2}".format(type(x), repr(x), uee)

        try:
            x = char.decode('latin_1')
            print "\t'" + x + "' = char.decode('latin_1') {1} repr(char.decode('latin_1'))={2}".format(x, type(x), repr(x))
        except UnicodeDecodeError as ude:
            print "\t'?' = char.decode('latin_1')  ERROR: {0}".format(ude)
        except UnicodeEncodeError as uee:
            print "\t'?' = char.decode('latin_1')  {0} repr(char)={1} ERROR PRINTING: {2}".format(type(x), repr(x), uee)

        try:
            x = char.decode('utf_8')
            print "\t'" + x + "' = char.decode('utf_8') {1} repr(char.decode('utf_8'))={2}".format(x, type(x), repr(x))
        except UnicodeDecodeError as ude:
            print "\t'?' = char.decode('utf_8')  ERROR: {0}".format(ude)
        except UnicodeEncodeError as uee:
            print "\t'?' = char.decode('utf_8')  {0} repr(char)={1} ERROR PRINTING: {2}".format(type(x), repr(x), uee)

        print

x = 'ó'
encodingDemo(x)

Много благодарит за ответы ниже и особенно к @John Machin для ответа так полностью.