Python: come ottenere StringIO.writelines per accettare una stringa unicode?

Question

Sto diventando un

UnicodeEncodeError: 'ascii' codec can't encode character u'\xa3' in position 34: ordinal not in range(128) 

su una stringa memorizzata in 'a.desc' seguito in quanto contiene il carattere '£'. È archiviato nell'archivio dati di Google App Engine sottostante sotto forma di stringa unicode, quindi va bene. La funzione cStringIO.StringIO.writelines sta cercando apparentemente cercando di codificare in formato ASCII:

result.writelines(['blahblah',a.desc,'blahblahblah']) 

Come faccio istruzioni al fine di trattare la codifica unicode come se questo è il fraseggio corretto?

App Engine gira su Python 2.5

Answer 1

StringIO documentation:

A differenza dei file di memoria attuate dal modulo StringIO, quelli forniti da [cStringIO] non sono in grado di accettare stringhe Unicode che non possono essere codificati come semplici stringhe ASCII.

Se possibile, utilizzare StringIO anziché cStringIO.

Answer 2

È possibile avvolgere l'oggetto StringIO in un oggetto codecs.StreamReaderWriter per codificare e decodificare automaticamente unicode.

Così:

import cStringIO, codecs 
buffer = cStringIO.StringIO() 
codecinfo = codecs.lookup("utf8") 
wrapper = codecs.StreamReaderWriter(buffer, 
     codecinfo.streamreader, codecinfo.streamwriter) 

wrapper.writelines([u"list of", u"unicode strings"]) 

buffer sarà riempito con byte UTF-8 codificato.

Se ho ben capito il tuo caso in modo corretto, si avrà solo bisogno di scrivere, così si potrebbe anche fare:

import cStringIO, codecs 
buffer = cStringIO.StringIO() 
wrapper = codecs.getwriter("utf8")(buffer) 

Answer 3

È anche possibile codificare la stringa come UTF-8 manualmente prima di aggiungerlo alla StringIO

for val in rows: 
    if isinstance(val, unicode): 
     val = val.encode('utf-8') 
result.writelines(rows) 

Answer 4

Python 2.6 ha introdotto il modulo io e si dovrebbe considerare l'utilizzo di io.StringIO(), "Un flusso in memoria per testo Unicode".

Nelle versioni python precedenti questo non è ottimizzato (puro Python), nelle versioni successive questo è stato ottimizzato per il codice C (veloce).