C'è un modo per sapere se una stringa Unicode contiene un carattere cinese/giapponese in Python?

Question

Ho una stringa Unicode in Python. Sto cercando un modo per determinare se ci sono caratteri cinesi/giapponesi nella stringa. Se possibile, sarà meglio essere in grado di localizzare quei personaggi.

Sembra che questo sia un po 'diverso da un problema di rilevamento della lingua. La mia stringa può essere un misto di testi in inglese e cinese.

Il mio codice dispone di accesso a Internet.

Answer 1

È possibile utilizzare questo regex [\u2E80-\u9FFF] in modo che corrisponda ai caratteri CJK.

Answer 2

È possibile utilizzare la proprietà Unicode Script per determinare lo script con cui sono comunemente associati.

Il modulo Python unicodedata, purtroppo, non ha questa proprietà. Tuttavia, un numero di moduli di terze parti, ad esempio unicodedata2 e unicodescript, dispone di queste informazioni. Puoi interrogarli e verificare se hai caratteri nello script Han, che corrisponde a cinese (e Kanji e Hanja).

Answer 3

Ho provato il modulo unicodedata di Python menzionato da nneonneo nella sua risposta e penso che funzioni probabilmente.

>>> import unicodedata 
>>> unicodedata.name('你') 
'CJK UNIFIED IDEOGRAPH-4F60' 
>>> unicodedata.name('桜') 
'CJK UNIFIED IDEOGRAPH-685C' 
>>> unicodedata.name('あ') 
'HIRAGANA LETTER A' 
>>> unicodedata.name('ア') 
'KATAKANA LETTER A' 
>>> unicodedata.name('a') 
'LATIN SMALL LETTER A' 

Come si vede, sia i caratteri cinesi e giapponesi hanno adottato caratteri cinesi sono suddivisi in categorie per CJK UNIFIED IDEOGRAPH e hiragana e katakana correttamente riconosciuti. Non ho testato i caratteri coreani, ma penso che dovrebbero cadere nello CJK UNIFIED IDEOGRAPH.

Inoltre, se vi interessa soltanto se si tratta di un CJK carattere/lettera o no, sembra che questo è più semplice:

>>> import unicodedata 
>>> unicodedata.category('你') 
'Lo' 
>>> unicodedata.category('桜') 
'Lo' 
>>> unicodedata.category('あ') 
'Lo' 
>>> unicodedata.category('ア') 
'Lo' 
>>> unicodedata.category('a') 
'Ll' 
>>> unicodedata.category('A') 
'Lu' 

Secondo here, Ll è minuscolo, Lu è maiuscola e Lo e altre.