Создайте utf-8 файл CSV в Python

Я не могу создать utf-8 файл CSV в Python.

Я пытаюсь читать, это - документы, и в разделе в качестве примера, это говорит:

Для всей другой кодировки могут использоваться следующие классы UnicodeReader и UnicodeWriter. Они берут дополнительный параметр кодирования в своем конструкторе и удостоверяются, что данные передают реальное средство чтения или устройство записи, закодированное как UTF-8:

Хорошо. Таким образом, у меня есть этот код:

values = (unicode("Ñ", "utf-8"), unicode("é", "utf-8"))
f = codecs.open('eggs.csv', 'w', encoding="utf-8")
writer = UnicodeWriter(f)
writer.writerow(values)

И я продолжаю получать эту ошибку:

line 159, in writerow
    self.stream.write(data)
  File "/usr/lib/python2.6/codecs.py", line 686, in write
    return self.writer.write(data)
  File "/usr/lib/python2.6/codecs.py", line 351, in write
    data, consumed = self.encode(object, self.errors)
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 22: ordinal not in range(128)

Кто-то может дать мне свет, таким образом, я могу понять то что, черт возьми, я делаю неправильно, так как я установил все кодирование везде прежде, чем назвать класс UnicodeWriter?

class UnicodeWriter:
    """
    A CSV writer which will write rows to CSV file "f",
    which is encoded in the given encoding.
    """

    def __init__(self, f, dialect=csv.excel, encoding="utf-8", **kwds):
        # Redirect output to a queue
        self.queue = cStringIO.StringIO()
        self.writer = csv.writer(self.queue, dialect=dialect, **kwds)
        self.stream = f
        self.encoder = codecs.getincrementalencoder(encoding)()

    def writerow(self, row):
        self.writer.writerow([s.encode("utf-8") for s in row])
        # Fetch UTF-8 output from the queue ...
        data = self.queue.getvalue()
        data = data.decode("utf-8")
        # ... and reencode it into the target encoding
        data = self.encoder.encode(data)
        # write to the target stream
        self.stream.write(data)
        # empty queue
        self.queue.truncate(0)

    def writerows(self, rows):
        for row in rows:
            self.writerow(row)

17
задан Somebody still uses you MS-DOS 21 June 2010 в 13:58
поделиться

4 ответа

Вам не нужно использовать codecs.open ; UnicodeWriter принимает ввод Unicode и заботится о кодировании всего в UTF-8. Когда UnicodeWriter записывает в дескриптор файла, который вы ему передали, все уже находится в кодировке UTF-8 (поэтому он работает с обычным файлом, который вы открыли с открытым ).

Используя codecs.open , вы по существу конвертируете свои объекты Unicode в строки UTF-8 в UnicodeWriter , а затем снова пытаетесь перекодировать эти строки в UTF-8, как если бы эти строки содержат строки Unicode, что явно не работает.

14
ответ дан 30 November 2019 в 14:12
поделиться

Вам не нужно "дважды кодировать" все.

Ваше приложение должно полностью работать в Unicode.

Используйте кодировку только в codecs.open , чтобы записать байты UTF-8 во внешний файл. Не делайте никакой другой кодировки в вашем приложении.

0
ответ дан 30 November 2019 в 14:12
поделиться

Некоторое время назад я столкнулся с проблемой csv / unicode и бросил это в bitbucket: http://bitbucket.org/famousactress/dude_csv .. может сработать для вас, если ваши потребности просты :)

1
ответ дан 30 November 2019 в 14:12
поделиться

Как вы уже поняли, это работает, если вы используете простой open.

Причина в том, что вы пытались кодировать UTF-8 дважды. Один раз в

f = codecs.open('eggs.csv', 'w', encoding="utf-8")

и затем в UnicodeWriter.writeRow

# ... and reencode it into the target encoding
data = self.encoder.encode(data)

Чтобы проверить, что это работает, используйте ваш оригинальный код и откомментируйте эту строку.

Greetz

1
ответ дан 30 November 2019 в 14:12
поделиться
Другие вопросы по тегам:

Похожие вопросы: