Come gestire i caratteri Unicode (non ASCII) in Python?

Question

Sto programmando in Python e sto ottenendo informazioni da una pagina Web attraverso la libreria urllib2. Il problema è che la pagina in grado di fornire me con caratteri non ASCII, come 'ñ', 'á', ecc Nel momento urllib2 ottiene questo personaggio, provoca un'eccezione, in questo modo:

File "c:\Python25\lib\httplib.py", line 711, in send 
    self.sock.sendall(str) 
File "<string>", line 1, in sendall: 
    UnicodeEncodeError: 'ascii' codec can't encode character u'\xf1' in position 74: ordinal not in range(128) 

ho bisogno di gestire quei personaggi. Voglio dire, non voglio gestire l'eccezione ma continuare il programma. C'è un modo per, per esempio (non so se è qualcosa di stupido), usare un altro codec piuttosto che l'ASCII? Perché devo lavorare con quei personaggi, inserirli in un database, ecc.

Answer 1

Basta leggere un set di byte dalla presa. Se si desidera una stringa bisogna decodificarlo:

yourstring = receivedbytes.decode("utf-8") 

(sostituendo qualunque codifica si sta utilizzando per utf-8)

Poi bisogna fare il contrario di inviare di nuovo fuori:

outbytes = yourstring.encode("utf-8") 

Answer 2

Se vuoi puoi usare unicode per tutto il tuo lavoro.

Probabilmente troverete questa domanda/risposta utile:

urllib2 read to Unicode

Answer 3

si potrebbe voler considerare di usare una libreria di analisi reale per trovare queste informazioni. lxml, ad esempio, già indirizza la codifica/decodifica Unicode utilizzando il set di caratteri dichiarato.