Строковая очистка Python + управление (символы с диакритикой)

Метод translate позволяет удалять символы. Вы можете использовать это для удаления произвольных символов.

Fullname.translate(None,"'-\"")

Если вы хотите удалить целые классы символов, вы можете использовать модуль re.

re.sub('[^a-z0-9 ]', '', Fullname.strip().lower(),) 

Я бы сделал что-то вроде этого

# coding=utf-8

def alnum_dot(name, replace={}):
    import re

    for k, v in replace.items():
        name = name.replace(k, v)

    return re.sub("[^a-z.]", "", name.strip().lower())

print alnum_dot(u"Frédrik Holmström", {
    u"ö":"o",
    " ":"."
})

Второй аргумент - это символы, которые вы хотите заменить, все не az и. символы, которые не заменяются, будут удалены

Следующая функция является общей:

import unicodedata

def not_combining(char):
        return unicodedata.category(char) != 'Mn'

def strip_accents(text, encoding):
        unicode_text= unicodedata.normalize('NFD', text.decode(encoding))
        return filter(not_combining, unicode_text).encode(encoding)

# in a cp1252 environment
>>> print strip_accents("déjà", "cp1252")
deja
# in a cp1253 environment
>>> print strip_accents("καλημέρα", "cp1253")
καλημερα

Очевидно, вы должны знать кодировку своих строк.

Если вы не боитесь устанавливать сторонние модули, то обратите внимание на порт python модуля Perl Text :: Unidecode (он также на pypi ).

Модуль не делает ничего, кроме использования таблицы поиска для транслитерации символов. Я просмотрел код, он выглядит очень просто. Поэтому я полагаю, что он работает практически с любой ОС и с любой версией Python (crossfingers). Его также легко связать с вашим приложением.

С помощью этого модуля вам не нужно создавать таблицу поиска вручную (= снижается риск того, что она будет неполной).

Преимущество этого модуля по сравнению с техникой нормализации Unicode заключается в это: нормализация Unicode не заменяет все символы. Хороший пример - такой символ, как «æ». При нормализации Unicode это будет «Буква в нижнем регистре» (Ll). Это означает, что использование метода normalize не даст вам ни символа замены, ни полезной подсказки. К сожалению, этот символ не может быть представлен в ASCII. Так что вы получите ошибки.

Упомянутый модуль лучше справляется с этой задачей. Фактически это заменит "æ" на "ae". Это действительно полезно и имеет смысл.

Самая впечатляющая вещь, которую я видел, - это то, что это идет намного дальше. Он даже заменяет японские символы Кана в основном должным образом. Например, он заменяет «は» на «ха». Что совершенно нормально. Это небезопасно, поскольку текущая версия заменяет «ち» на «ti» вместо «chi». Так что вы' Придется обращаться с этим с осторожностью для более экзотических символов.

Использование модуля простое ::

from unidecode import unidecode
var_utf8  = "æは".decode("utf8")
unidecode( var_utf8 ).encode("ascii")
>>> "aeha"

Обратите внимание, что я не имею никакого отношения к этому модулю напрямую. Так получилось, что я нахожу это очень полезным.

Edit: Патч, который я отправил, исправил ошибку, касающуюся японской каны. Я починил только ту, которую смог сразу заметить. Возможно, я кое-что пропустил.