Python non ordina correttamente unicode. Strcoll non aiuta

Question

Ho un problema con gli elenchi di ordinamento utilizzando regole di confronto unicode in Python 2.5.1 e 2.6.5 su OSX, così come su Linux.

import locale 
locale.setlocale(locale.LC_ALL, 'pl_PL.UTF-8') 
print [i for i in sorted([u'a', u'z', u'ą'], cmp=locale.strcoll)] 

Che dovrebbe stampare:

[u'a', u'ą', u'z'] 

Ma invece ne emette:

[u'a', u'z', u'ą'] 

Riassumendo in su - è come se strcoll era rotto. Ho provato con vari tipi di variabili (es .: stringhe codificate non-unicode).

Cosa faccio di sbagliato?

Cordiali saluti, Tomasz Kopczuk.

Answer 1

A quanto pare, l'unico modo per l'ordinamento di lavorare su tutte le piattaforme è quello di utilizzare la libreria ICU con attacchi PyICU (PyICU on PyPI).

Su OS X: sudo port install py26-pyicu, bug di cura descritto qui: https://svn.macports.org/ticket/23429 (oh, la gioia di usare macports).

documentazione

PyICUs è purtroppo gravemente carente, ma sono riuscito a scoprire come è fatto:

import PyICU 
collator = PyICU.Collator.createInstance(PyICU.Locale('pl_PL.UTF-8')) 
print [i for i in sorted([u'a', u'z', u'ą'], cmp=collator.compare)] 

che dà:

[u'a', u'ą', u'z'] 

altro pro - @bobince: è thread-safe, in modo da non inutile quando si impostano le impostazioni locali richieste.

Answer 2

Su ubuntu lucid l'ordinamento con cmp sembra funzionare correttamente, ma la codifica dell'output è errata.

>>> import locale 
>>> locale.setlocale(locale.LC_ALL, 'pl_PL.UTF-8') 
'pl_PL.UTF-8' 
>>> print [i for i in sorted([u'a', u'z', u'ą'], cmp=locale.strcoll)] 
[u'a', u'\u0105', u'z'] 

Utilizzando chiave con locale.strxfrm non funziona a meno che non mi manca qualcosa

>>> print [i for i in sorted([u'a', u'z', u'ą'], key=locale.strxfrm)] 
Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
UnicodeEncodeError: 'ascii' codec can't encode character u'\u0105' in position 0: ordinal not in range(128) 

Answer 3

Solo per aggiungere all'indagine di tkopczuk: Questo è sicuramente un bug gcc, almeno per la versione 4.2.1 su OS X 10.6.4. Può essere riprodotto chiamando C strcoll() direttamente come in this snippet.

EDIT: Sempre sullo stesso sistema, trovo che per le versioni UTF-8 di de_DE, fr_FR, pl_PL, il problema ci sia, ma per le versioni ISO-88591 di fr_FR e de_DE, l'ordinamento è corretto. Purtroppo per l'OP, ISO-88.592 pl_PL è anche buggy:

The order for Polish ISO-8859 is: 
LATIN SMALL LETTER A 
LATIN SMALL LETTER Z 
LATIN SMALL LETTER A WITH OGONEK 
The LC_COLLATE culture and encoding settings were pl_PL, ISO8859-2. 

The order for Polish Unicode is: 
LATIN SMALL LETTER A 
LATIN SMALL LETTER Z 
LATIN SMALL LETTER A WITH OGONEK 
The LC_COLLATE culture and encoding settings were pl_PL, UTF8. 

The order for German Unicode is: 
LATIN SMALL LETTER A 
LATIN SMALL LETTER Z 
LATIN SMALL LETTER A WITH DIAERESIS 
The LC_COLLATE culture and encoding settings were de_DE, UTF8. 

The order for German ISO-8859 is: 
LATIN SMALL LETTER A 
LATIN SMALL LETTER A WITH DIAERESIS 
LATIN SMALL LETTER Z 
The LC_COLLATE culture and encoding settings were de_DE, ISO8859-1. 

The order for Fremch ISO-8859 is: 
LATIN SMALL LETTER A 
LATIN SMALL LETTER E WITH ACUTE 
LATIN SMALL LETTER Z 
The LC_COLLATE culture and encoding settings were fr_FR, ISO8859-1. 

The order for French Unicode is: 
LATIN SMALL LETTER A 
LATIN SMALL LETTER Z 
LATIN SMALL LETTER E WITH ACUTE 
The LC_COLLATE culture and encoding settings were fr_FR, UTF8. 

Answer 4

@gnibbler, utilizzando PyICU con il ordinato() funzione funziona in un ambiente python3.Dopo un po 'di scavo attraverso la documentazione ICU API e alcuni esperimenti, ho trovato la funzione getSortKey():

import PyICU 
collator = PyICU.Collator.createInstance(PyICU.Locale('de_DE.UTF-8')) 
sorted(['a','b','c','ä'],key=collator.getSortKey) 

che produce la fascicolazione desiderata:

['a', 'ä', 'b', 'c'] 

anziché la collazione indesiderato:

sorted(['a','b','c','ä']) 
['a', 'b', 'c', 'ä'] 

Answer 5

import locale 
from functools import cmp_to_key 
iterable = [u'a', u'z', u'ą'] 
sorted(iterable, key=cmp_to_key(locale.strcoll)) # locale-aware sort order 

(Ref .: http://docs.python.org/3.3/library/functools.html)

Answer 6

Ecco come sono riuscito a ordinare lingua persiana correttamente (senza PyICU) (usando python 3.x):

Prima impostare il locale (non dimenticate di importare locale e piattaforma)

if platform.system() == 'Linux': 
    locale.setlocale(locale.LC_ALL, 'fa_IR.UTF-8') 
elif platform.system() == 'Windows': 
    locale.setlocale(locale.LC_ALL, 'Persian_Iran.1256') 
else: 
    pass (or any other OS) 

quindi ordinare con il tasto:

a = ['ا','ب','پ','ت','ث','ج','چ','ح','خ','د','ذ','ر','ز','ژ','س','ش','ص','ض','ط','ظ','ع','غ','ف','ق','ک','گ','ل','م','ن','و','ه','ي'] 

print(sorted(a,key=locale.strxfrm)) 

Per la lista di oggetti:

a = [{'id':"ا"},{'id':"ب"},{'id':"پ"},{'id':"ت"},{'id':"ث"},{'id':"ج"},{'id':"چ"},{'id':"ح"},{'id':"خ"},{'id':"د"},{'id':"ذ"},{'id':"ر"},{'id':"ز"},{'id':"ژ"},{'id':"س"},{'id':"ش"},{'id':"ص"},{'id':"ض"},{'id':"ط"},{'id':"ظ"},{'id':"ع"},{'id':"غ"},{'id':"ف"},{'id':"ق"},{'id':"ک"},{'id':"گ"},{'id':"ل"},{'id':"م"},{'id':"ن"},{'id':"و"},{'id':"ه"},{'id':"ي"}] 

print(sorted(a, key=lambda x: locale.strxfrm(x['id'])) 

Infine è possibile restituire il locale:

locale.setlocale(locale.LC_ALL, '')