codifica utilizzata per u "" letterali

Question

Si consideri il seguente esempio:

>>> s = u"баба" 
>>> s 
u'\xe1\xe0\xe1\xe0' 
>>> print s 
áàáà 

sto usando cp1251 codifica all'interno di inattività, ma sembra l'interprete utilizza effettivamente latin1 per creare stringhe Unicode:

>>> print s.encode('latin1') 
баба 

Perché così? C'è una specifica per un simile comportamento?

CPython, 2.7.

---

Modifica

Il codice che è stato effettivamente cercando è

>>> u'\xe1\xe0\xe1\xe0' == u'\u00e1\u00e0\u00e1\u00e0' 
True 

Sembra come durante la codifica unicode con latin1 codec, tutti i punti unicode meno che 256 sono semplicemente lasciato come è quindi risultando in byte che ho digitato prima.

Answer 1

Quando si digita un carattere come б nel terminale, viene visualizzato uno б, ma ciò che viene realmente immesso è una sequenza di byte.

Poiché la codifica terminale è cp1251, digitando баба risultati nella sequenza di byte pari al unicode баба codificato in cp1251:

In [219]: "баба".decode('utf-8').encode('cp1251') 
Out[219]: '\xe1\xe0\xe1\xe0' 

(Nota uso utf-8 sopra perché la mia codifica terminale è utf-8, non cp1251 Per me, "баба".decode('utf-8') è unicode per баба.)

Poiché digitare баба genera la sequenza di byte s \xe1\xe0\xe1\xe0, quando si digita u"баба" nel terminale, Python riceve invece u'\xe1\xe0\xe1\xe0'. Questo è il motivo per cui si sta vedendo

>>> s 
u'\xe1\xe0\xe1\xe0' 

Ciò accade unicode per rappresentare áàáà.

E quando si digita

>>> print s.encode('latin1') 

la codifica latin1 converte u'\xe1\xe0\xe1\xe0'-'\xe1\xe0\xe1\xe0'. Il terminale riceve la sequenza di byte '\xe1\xe0\xe1\xe0', e li decodifica con cp1251, stampando così баба:

In [222]: print('\xe1\xe0\xe1\xe0'.decode('cp1251')) 
баба 

Prova:

>>> s = "баба" 

(senza u) invece. Oppure,

>>> s = "баба".decode('cp1251') 

per fare sunicode.In alternativa, utilizzare il verbose ma molto esplicita (e terminale-codifica agnostico):

>>> s = u'\N{CYRILLIC SMALL LETTER BE}\N{CYRILLIC SMALL LETTER A}\N{CYRILLIC SMALL LETTER BE}\N{CYRILLIC SMALL LETTER A}' 

O il breve ma meno facilmente comprensibile

>>> s = u'\u0431\u0430\u0431\u0430'