Lettera di corrispondenza in qualsiasi lingua

Question

Come posso abbinare una lettera da qualsiasi lingua usando una regex in python 3?

re.match([a-zA-Z]) corrisponderà ai caratteri della lingua inglese ma voglio che tutte le lingue siano supportate simultaneamente.

Non desidero abbinare lo ' a can't o caratteri di sottolineatura o qualsiasi altro tipo di formattazione. Vorrei che il mio regex corrispondesse: c, a, n, t, Å, é e 中.

Answer 1

per Unicode lavoro regex in Python, raccomando fortemente il seguente:

3. Uso Matthew Barnett’s regex library invece di standard di re, che non è proprio adatto per Unicode regolare espressioni.
4. Utilizzare solo Python 3, mai Python 2. Si desidera che tutte le stringhe siano stringhe Unicode.
5. Utilizzare solo valori letterali stringa con codepoint Unicode logici/astratti, stringhe di byte non codificate.
6. Imposta la codifica sui tuoi stream e non pensarci più. Se ti trovi sempre a chiamare manualmente .encode e così, stai quasi certamente facendo qualcosa di sbagliato.
7. Utilizzare solo una build di grandi dimensioni in cui punti di codice e unità di codice sono uguali, mai e poi mai stretti - cosa che si potrebbe considerare deprecabile per robustezza Unicode.
8. Normalizza tutte le stringhe in ingresso su NFD in entrata e quindi NFC in uscita. Altrimenti non puoi ottenere un comportamento affidabile.

Una volta fatto questo, si può tranquillamente scrivere modelli che includono \w o \p{script=Latin} o \p{alpha} e \p{lower} ecc e sapere che questi saranno tutti fare quello che the Unicode Standard says they should. Spiego tutto questo business di Python Unicode regex business in modo molto più dettagliato in this answer. Il racconto è di utilizzare sempre regex non re.

Per un consiglio generale su Unicode, ho anche several talks from last OSCON sulle espressioni regolari Unicode, molte delle quali, a parte il terzo talk, non riguardano Python, ma molte delle quali sono adattabili.

Infine, c'è sempre this answer per mettere nel tuo cuore la paura di Dio (o almeno, di Unicode).

Answer 2

Costruire una classe di corrispondenza di tutti i caratteri che si desidera abbinare. Questo potrebbe diventare molto, molto grande. No, non esiste una scorciatoia RegEx per "All Kanji";)

Forse è più facile abbinare per quello che non vuoi, ma anche in quel caso, questa classe diventerebbe estremamente grande.

Answer 3

È possibile abbinare il

\p{L} 

che corrisponde a qualsiasi punto di codice Unicode che rappresenta una lettera di uno script. Cioè, supponendo che tu abbia un motore regex con capacità Unicode, che spero davvero che Python abbia.

Answer 4

Cosa c'è di sbagliato nell'usare la sequenza speciale \ w?

# -*- coding: utf-8 -*- 
import re 
test = u"can't, Å, é, and 中ABC" 
print re.findall('\w+', test, re.UNICODE) 

Answer 5

 
import re 

text = "can't, Å, é, and 中ABC" 
print(re.findall('\w+', text)) 

Questo funziona in Python 3. Ma corrisponde anche ai caratteri di sottolineatura. Tuttavia questo sembra fare il lavoro come vorrei:

 
import regex 

text = "can't, Å, é, and 中ABC _ sh_t" 
print(regex.findall('\p{alpha}+', text)) 

Answer 6

Per la lingua portoghese, utilizzare provate questo:

[a-zA-ZÀ-ú ]+