Unicode, регулярные выражения и PyPy

Я написал программу для добавления (ограниченной)поддержки юникода в регулярные выражения Python, и хотя он отлично работает на CPython 2.5.2, он не работает на PyPy(1.5.0 -alpha0 1.8.0, реализация Python 2.7.1 2.7.2 ), оба работают в Windows XP(Edit :, как видно из комментариев, @dbaupp может нормально работать в Linux ). Я понятия не имею, почему, но я подозреваю, что это как-то связано с моим использованием u"и ur". Полный источник — здесь , а соответствующие биты —:

# -*- coding:utf-8 -*-
import re

# Regexps to match characters in the BMP according to their Unicode category.
# Extracted from Unicode specification, version 5.0.0, source:
# http://unicode.org/versions/Unicode5.0.0/
unicode_categories = {
    ur'Pi':ur'[\u00ab\u2018\u201b\u201c\u201f\u2039\u2e02\u2e04\u2e09\u2e0c\u2e1c]',
    ur'Sk':ur'[\u005e\u0060\u00a8\u00af\u00b4\u00b8\u02c2-\u02c5\u02d2-\u02df\u02...',
    ur'Sm':ur'[\u002b\u003c-\u003e\u007c\u007e\u00ac\u00b1\u00d7\u00f7\u03f6\u204...',
   ...
    ur'Pf':ur'[\u00bb\u2019\u201d\u203a\u2e03\u2e05\u2e0a\u2e0d\u2e1d]',
    ur'Me':ur'[\u0488\u0489\u06de\u20dd-\u20e0\u20e2-\u20e4]',
    ur'Mc':ur'[\u0903\u093e-\u0940\u0949-\u094c\u0982\u0983\u09be-\u09c0\u09c7\u0...',
}

def hack_regexp(regexp_string):
    for (k,v) in unicode_categories.items():
        regexp_string = regexp_string.replace((ur'\p{%s}' % k),v)
    return regexp_string

def regex(regexp_string,flags=0):
    """Shortcut for re.compile that also translates and add the UNICODE flag

    Example usage:
        >>> from unicode_hack import regex
        >>> result = regex(ur'^\p{Ll}\p{L}*').match(u'áÇñ123')
        >>> print result.group(0)
        áÇñ
        >>> 
    """
    return re.compile(hack_regexp(regexp_string), flags | re.UNICODE)

(в PyPy нет совпадений в «Примере использования», поэтому result— этоNone)

Повторяю, программа работает нормально (на CPython ):данные Unicode кажутся правильными, замена работает по назначению, пример использования работает нормально (как через doctest, так и напрямую в командной строке ). Кодировка исходного файла также правильная, и директива codingв заголовке, кажется, распознается Python.

Есть идеи, что PyPy делает «по-другому», что нарушает мой код? Многое пришло мне в голову (нераспознанный codingзаголовок, разные кодировки в командной строке, разные интерпретации rи u), но, насколько я понимаю, и CPython, и PyPy ведут себя одинаково, поэтому Я понятия не имею, что попробовать дальше.

7
задан Community 23 May 2017 в 12:33
поделиться