Python, UnicodeDecodeError

Старый вопрос, но интересное обсуждение. Концепции ISAM важны, дополнительные функции, которые мы предоставляем в сегодняшних СУБД (как обсуждалось, например, резервное копирование, согласованность, безопасность, метаданные), предлагают нам значительные преимущества.

С увлечением NoSQL (да, да) Я сказал это ... безумие) это не означает, что мы не можем моделировать доступ, подобный ISAM, внутри СУБД. Вы будете уверены, что я перенесу в БД столько логики, сколько смогу, но бывают случаи, такие как "традиционная" сетка данных / многомерная интерполяция данных, когда я просматриваю все необходимые записи с помощью моей собственной логической схемы. index.

Это действительно то, что вы хотели? Предложение: постройте путь ОДИН РАЗ, используя лучший метод (см. Пункт (2) ниже).

(1) Как правило, используйте repr (foo) или "% r"% foo для диагностики. Таким образом, ваш диагностический код с гораздо меньшей вероятностью вызовет исключение (как здесь происходит) И вы избежите двусмысленности. Вставьте оператор print repr (folder), repr (f) , прежде чем пытаться получить размер, выполнить повторный запуск и отправить отчет.

(2) Не прокладывайте пути по u " % s /% s "% (папка, имя файла) ... используйте os.path.join (папка, имя файла)

(3) Не используйте простые исключения, проверьте известные проблемы. Чтобы неизвестные проблемы не остались неизвестными, сделайте что-нибудь вроде этого:

try:
    some_code()
except ReasonForBaleOutError:
    continue
except: 
    # something's gone wrong, so get diagnostic info
    print repr(interesting_datum_1), repr(interesting_datum_2)
    # ... and get traceback and error message
    raise

Более сложный способ будет включать в себя ведение журнала вместо печати, но вышеизложенное намного лучше, чем не знать, что происходит.

Дальнейшие правки после rtm ("os.walk"), запоминание старых легенд и повторное чтение вашего кода:

(4) os. walk () обходит все дерево; вам не нужно вызывать его рекурсивно.

(5) Если вы передаете строку unicode в os.walk (), результаты (пути, имена файлов) сообщаются как unicode. Тебе не нужна вся эта чепуха. Затем вам просто нужно выбрать способ отображения результатов Unicode.

(6) Удаление путей с «$» в них: вы должны изменить список на месте, но ваш метод опасен. Попробуйте что-то вроде этого:

for i in xrange(len(folders), -1, -1):
    if '$' in folders[i]:
        del folders[i]

(7) Вы можете ссылаться на файлы, объединив имя папки и имя файла. Вы используете ОРИГИНАЛЬНОЕ имя папки; когда вы вырываете рекурсию, это не сработает; ты' Вам нужно будет использовать текущее отброшенное значение content [0] , сообщенное os.walk.

(8) Вы должны использовать что-то очень простое, например:

for folder, subfolders, filenames in os.walk(unicoded_top_folder):

Нет необходимости в ] генератор = os.walk (...); попробуйте: content = generator.next () и т. д. и, кстати, если вам когда-нибудь понадобится выполнить generator.next () в будущем, используйте except StopIteration вместо простого .

(9) Если вызывающий объект предоставляет несуществующую папку, исключение не возникает, он просто ничего не делает. Если предоставленная папка существует, но пуста, то же самое. Если вам нужно различать эти два сценария, вам необходимо провести дополнительное тестирование.

Ответ на этот комментарий от OP: "" "Спасибо, пожалуйста, прочтите информацию, которую repr () показал в первый пост. я не Не знаю, почему напечатано так много разных элементов, но похоже, что у всех есть проблемы. И общее между ними - это файлы .ink. Может в этом проблема? Кроме того, в последних файлах firefox он печатает (Modalitrovvisoria), в то время как настоящее имя файла из Explorer содержит (Modalità provvisoria) "" "

(10) Ммм, это не" .INK ".lower (), это ".LNK" .lower () ... возможно, вам нужно изменить шрифт в том, с чем вы это читаете.

(11) Тот факт, что все имена "проблемных" файлов заканчиваются на ".lnk" / может / быть связано с тем, что os.walk () и / или Windows делают что-то особенное с именами этих файлов.

(12) Я повторяю здесь оператор Python, который вы использовали для создания этого вывода, с добавлением некоторых пробелов :

print repr(
    "Error reading file %s" \
    % u"%s/%s" % (
        folder.decode('utf-8','ignore'),
        f.decode('utf-8','ignore')
        )
    )

Похоже, вы не прочитали, не поняли или просто проигнорировали совет, который я дал вам в комментарии к другому ответу (и ответу этого ответчика): UTF-8 НЕ имеет отношения к контексту имена файлов в файловой системе Windows.

Нас интересует, к какой именно папке и f относятся. Вы растоптали все свидетельства, пытаясь расшифровать их с помощью UTF-8. Вы усугубили обфускацию, используя опцию «игнорировать». Если бы вы использовали опцию «заменить», вы бы увидели «(Modalit \ ufffdrovvisoria)». Опция "игнорировать" не имеет места в отладке.

В любом случае подозрительным является тот факт, что в некоторых именах файлов была какая-то ошибка, но они НЕ теряли символы с опцией "игнорировать" (или не искажались).

Какая часть " "" как и ожидалось

>>> 'Ha\x9aek'.decode('utf8')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "C:\python26\lib\encodings\utf_8.py", line 16, in decode
    return codecs.utf_8_decode(input, errors, True)
UnicodeDecodeError: 'utf8' codec can't decode byte 0x9a in position 2: unexpected code byte

ЛЮБАЯ случайная строка байтов может быть декодирована без ошибок с помощью latin1

>>> 'Ha\x9aek'.decode('latin1')
u'Ha\x9aek'

НО U + 009A - это управляющий символ (SINGLE CHARACTER INTRODUCER), то есть бессмысленная тарабарщина; абсолютно ничего общего с правильным ответом

>>> unicodedata.name(u'\u0161')
'LATIN SMALL LETTER S WITH CARON'
>>>

(16) Этот пример показывает, что происходит, когда символ представляется в наборе символов по умолчанию; что будет, если это не так? Вот пример (на этот раз с использованием IDLE) имени файла, содержащего идеограммы CJK, которые определенно не могут быть представлены в моем наборе символов по умолчанию:

IDLE 2.6.4      
>>> import os
>>> from pprint import pprint as pp

repr (результаты Unicode) выглядит нормально

>>> pp(list(os.walk(ur"c:\junk\terabytest\chinese")))
[(u'c:\\junk\\terabytest\\chinese', [], [u'nihao\u4f60\u597d.txt'])]

, а Unicode отлично отображается в IDLE :

>>> print list(os.walk(ur"c:\junk\terabytest\chinese"))[0][2][0]
nihao你好.txt

Результат str, очевидно, получается с использованием .encode (что угодно, "заменить") - не очень полезно, например, вы не можете открыть файл, передав его в качестве имени файла.

>>> pp(list(os.walk(r"c:\junk\terabytest\chinese")))
[('c:\\junk\\terabytest\\chinese', [], ['nihao??.txt'])]

Итак, вывод таков: для лучших результатов,