Я не могу создать utf-8 файл CSV в Python.
Я пытаюсь читать, это - документы, и в разделе в качестве примера, это говорит:
Для всей другой кодировки могут использоваться следующие классы UnicodeReader и UnicodeWriter. Они берут дополнительный параметр кодирования в своем конструкторе и удостоверяются, что данные передают реальное средство чтения или устройство записи, закодированное как UTF-8:
Хорошо. Таким образом, у меня есть этот код:
values = (unicode("Ñ", "utf-8"), unicode("é", "utf-8"))
f = codecs.open('eggs.csv', 'w', encoding="utf-8")
writer = UnicodeWriter(f)
writer.writerow(values)
И я продолжаю получать эту ошибку:
line 159, in writerow
self.stream.write(data)
File "/usr/lib/python2.6/codecs.py", line 686, in write
return self.writer.write(data)
File "/usr/lib/python2.6/codecs.py", line 351, in write
data, consumed = self.encode(object, self.errors)
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 22: ordinal not in range(128)
Кто-то может дать мне свет, таким образом, я могу понять то что, черт возьми, я делаю неправильно, так как я установил все кодирование везде прежде, чем назвать класс UnicodeWriter?
class UnicodeWriter:
"""
A CSV writer which will write rows to CSV file "f",
which is encoded in the given encoding.
"""
def __init__(self, f, dialect=csv.excel, encoding="utf-8", **kwds):
# Redirect output to a queue
self.queue = cStringIO.StringIO()
self.writer = csv.writer(self.queue, dialect=dialect, **kwds)
self.stream = f
self.encoder = codecs.getincrementalencoder(encoding)()
def writerow(self, row):
self.writer.writerow([s.encode("utf-8") for s in row])
# Fetch UTF-8 output from the queue ...
data = self.queue.getvalue()
data = data.decode("utf-8")
# ... and reencode it into the target encoding
data = self.encoder.encode(data)
# write to the target stream
self.stream.write(data)
# empty queue
self.queue.truncate(0)
def writerows(self, rows):
for row in rows:
self.writerow(row)
Вам не нужно использовать codecs.open
; UnicodeWriter
принимает ввод Unicode и заботится о кодировании всего в UTF-8. Когда UnicodeWriter
записывает в дескриптор файла, который вы ему передали, все уже находится в кодировке UTF-8 (поэтому он работает с обычным файлом, который вы открыли с открытым
).
Используя codecs.open
, вы по существу конвертируете свои объекты Unicode в строки UTF-8 в UnicodeWriter
, а затем снова пытаетесь перекодировать эти строки в UTF-8, как если бы эти строки содержат строки Unicode, что явно не работает.
Вам не нужно "дважды кодировать" все.
Ваше приложение должно полностью работать в Unicode.
Используйте кодировку только в codecs.open
, чтобы записать байты UTF-8 во внешний файл. Не делайте никакой другой кодировки в вашем приложении.
Некоторое время назад я столкнулся с проблемой csv / unicode и бросил это в bitbucket: http://bitbucket.org/famousactress/dude_csv .. может сработать для вас, если ваши потребности просты :)
Как вы уже поняли, это работает, если вы используете простой open.
Причина в том, что вы пытались кодировать UTF-8 дважды. Один раз в
f = codecs.open('eggs.csv', 'w', encoding="utf-8")
и затем в UnicodeWriter.writeRow
# ... and reencode it into the target encoding
data = self.encoder.encode(data)
Чтобы проверить, что это работает, используйте ваш оригинальный код и откомментируйте эту строку.
Greetz