Удивительное поведение с ключами unicode dict [duplicate]

Здесь задействованы два разных персонажа. Один из них - MICRO SIGN , который находится на клавиатуре, а другой - GREEK SMALL LETTER MU .

Чтобы понять, что происходит, мы должны посмотреть, как Python определяет идентификаторы в справочнике языка :

identifier   ::=  xid_start xid_continue*
id_start     ::=  <all characters in general categories Lu, Ll, Lt, Lm, Lo, Nl, the underscore, and characters with the Other_ID_Start property>
id_continue  ::=  <all characters in id_start, plus characters in the categories Mn, Mc, Nd, Pc and others with the Other_ID_Continue property>
xid_start    ::=  <all characters in id_start whose NFKC normalization is in "id_start xid_continue*">
xid_continue ::=  <all characters in id_continue whose NFKC normalization is in "id_continue*">

Оба наших символа, MICRO SIGN и GREEK SMALL LETTER MU являются частью Ll unicode group (строчные буквы), поэтому оба они могут использоваться в любой позиции в идентификаторе. Теперь обратите внимание, что определение identifier на самом деле относится к xid_start и xid_continue, и они определены как все символы в соответствующем не-х определении, чья нормализация NFKC приводит к допустимой последовательности символов для идентификатора.

Очевидно, что Python заботится только о нормализованной форме идентификаторов . Это подтверждается немного ниже:

Все идентификаторы преобразуются в обычную форму NFKC во время разбора; сравнение идентификаторов основано на NFKC.

NFKC - это нормализация Юникода , которая разлагает символы на отдельные части. MICRO SIGN распадается на GREEK SMALL LETTER MU, и это именно то, что происходит там.

На эту нормализацию также влияет множество других символов. Другим примером является OHM SIGN , который распадается на GREEK CAPITAL LETTER OMEGA . Использование этого в качестве идентификатора дает аналогичный результат, здесь показано с использованием locals:

>>> Ω = 'bar'
>>> locals()['Ω']
Traceback (most recent call last):
  File "<pyshell#1>", line 1, in <module>
    locals()['Ω']
KeyError: 'Ω'
>>> [k for k, v in locals().items() if v == 'bar'][0].encode()
b'\xce\xa9'
>>> 'Ω'.encode()
b'\xe2\x84\xa6'

Итак, в конце концов, это именно то, что делает Python. К сожалению, на самом деле нет хорошего способа обнаружить это поведение, вызывая ошибки, такие как показанные. Обычно, когда идентификатор упоминается только как идентификатор, то есть он используется как реальная переменная или атрибут, тогда все будет нормально: нормализация выполняется каждый раз, и идентификатор найден.

Единственный проблема связана со строковым доступом. Строки - это просто строки, конечно, нормализации не происходит (это будет просто плохая идея). И два способа, показанные здесь, getattr и locals , оба действуют на словари. getattr() получает доступ к атрибуту объекта через __dict__ объекта, а locals() возвращает словарь. И в словарях клавишами может быть любая строка, поэтому вполне нормально иметь MICRO SIGN или OHM SIGN там.

В этих случаях вам нужно помнить о том, чтобы выполнить нормализацию самостоятельно. Для этого мы можем использовать unicodedata.normalize , что также позволяет нам правильно получить наше значение изнутри locals() (или используя getattr):

>>> normalized_ohm = unicodedata.normalize('NFKC', 'Ω')
>>> locals()[normalized_ohm]
'bar'