regex Python corrispondente alle proprietà Unicode

Question

Perl e alcuni altri motori regex correnti supportano le proprietà Unicode, come la categoria, in un'espressione regolare. Per esempio. in Perl è possibile utilizzare \p{Ll} per abbinare una lettera minuscola arbitraria o p{Zs} per qualsiasi separatore di spazi. Non vedo il supporto per questo nelle linee 2.xe 3.x di Python (con i dovuti rimpianti). Qualcuno è a conoscenza di una buona strategia per ottenere un effetto simile? Le soluzioni homegrown sono benvenute.

Answer 1

Hai provato Ponyguruma, un collegamento Python al motore di espressioni regolari Oniguruma? In quel motore puoi semplicemente dire \p{Armenian} per abbinare i caratteri armeni. \p{Ll} o \p{Zs} funzionano anche.

Answer 2

Hai ragione che le classi di proprietà Unicode non sono supportate dal parser regex Python.

Se si voleva fare un bel trucco, che sarebbe generalmente utile, è possibile creare un preprocessore che analizza una stringa per tali token di classe (\p{M} o altro) e li sostituisce con i set di caratteri corrispondenti, in modo che, per Ad esempio, \p{M} diventerebbe [\u0300–\u036F\u1DC0–\u1DFF\u20D0–\u20FF\uFE20–\uFE2F] e \P{M} diventerebbe [^\u0300–\u036F\u1DC0–\u1DFF\u20D0–\u20FF\uFE20–\uFE2F].

La gente ti ringrazierebbe. :)

Answer 3

Si noti che mentre \p{Ll} non ha equivalenti nelle espressioni regolari Python, \p{Zs} deve essere coperto da '(?u)\s'. Il (?u), come dicono i documenti, "Crea \ w, \ W, \ b, \ B, \ d, \ D, \ s e \ S dipende dal database delle proprietà dei caratteri Unicode." E \s indica qualsiasi carattere di spaziatura.

Answer 4

È possibile utilizzare faticosamente unicodedata su ogni personaggio:

import unicodedata 

def strip_accents(x): 
    return u''.join(c for c in unicodedata.normalize('NFD', x) if unicodedata.category(c) != 'Mn') 

Answer 5

Il modulo regex (in alternativa al modulo standard re) supporta le proprietà codepoint Unicode con la sintassi \p{}.

Answer 6

Parlando di soluzioni homegrown, qualche tempo fa ho scritto un piccolo program di fare proprio questo - convertire una categoria unicode scritto come \p{...} in un intervallo di valori, estratto dal unicode specification (v.5.0.0). Sono supportate solo le categorie (es .: L, Zs) ed è limitato al BMP. Sto postando qui nel caso qualcuno lo trovi utile (anche se Oniguruma sembra davvero un'opzione migliore).

Esempio utilizzo:

>>> from unicode_hack import regex 
>>> pattern = regex(r'^\\p{Lu}(\\p{L}|\\p{N}|_)*') 
>>> print pattern.match(u'疂_1+2').group(0) 
疂_1 
>>> 

Ecco il source. C'è anche un JavaScript version, usando gli stessi dati.