Creare un file csv utf-8 in Python

Question

Non riesco a creare un file csv utf-8 in Python.

Sto cercando di leggere è documenti, e nel examples section, si dice:

For all other encodings the following UnicodeReader and UnicodeWriter classes can be used. They take an additional encoding parameter in their constructor and make sure that the data passes the real reader or writer encoded as UTF-8:

Ok. Così ho questo codice:

values = (unicode("Ñ", "utf-8"), unicode("é", "utf-8")) 
f = codecs.open('eggs.csv', 'w', encoding="utf-8") 
writer = UnicodeWriter(f) 
writer.writerow(values) 

E continuo a ricevere questo errore:

line 159, in writerow 
    self.stream.write(data) 
    File "/usr/lib/python2.6/codecs.py", line 686, in write 
    return self.writer.write(data) 
    File "/usr/lib/python2.6/codecs.py", line 351, in write 
    data, consumed = self.encode(object, self.errors) 
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 22: ordinal not in range(128) 

Per favore qualcuno può dare una luce così posso capire che cosa diavolo sto facendo male da quando ho messo tutto il codifica ovunque prima di chiamare la classe UnicodeWriter?

class UnicodeWriter: 
    """ 
    A CSV writer which will write rows to CSV file "f", 
    which is encoded in the given encoding. 
    """ 

    def __init__(self, f, dialect=csv.excel, encoding="utf-8", **kwds): 
     # Redirect output to a queue 
     self.queue = cStringIO.StringIO() 
     self.writer = csv.writer(self.queue, dialect=dialect, **kwds) 
     self.stream = f 
     self.encoder = codecs.getincrementalencoder(encoding)() 

    def writerow(self, row): 
     self.writer.writerow([s.encode("utf-8") for s in row]) 
     # Fetch UTF-8 output from the queue ... 
     data = self.queue.getvalue() 
     data = data.decode("utf-8") 
     # ... and reencode it into the target encoding 
     data = self.encoder.encode(data) 
     # write to the target stream 
     self.stream.write(data) 
     # empty queue 
     self.queue.truncate(0) 

    def writerows(self, rows): 
     for row in rows: 
      self.writerow(row) 

Answer 1

Non è necessario utilizzare codecs.open; UnicodeWriter accetta l'input Unicode e si occupa della codifica di tutto in UTF-8. Quando UnicodeWriter scrive nel gestore file passato, tutto è già nella codifica UTF-8 (quindi funziona con un normale file aperto con open).

Utilizzando codecs.open, è essenzialmente convertire i vostri oggetti Unicode UTF-8 stringhe in UnicodeWriter, quindi provare a ricodificare queste stringhe in UTF-8 di nuovo come se queste stringhe contengono stringhe Unicode, che non riesce ovviamente.

Answer 2

Non è necessario "duplicare" tutto.

L'applicazione dovrebbe funzionare interamente in Unicode.

Effettuare la codifica solo nello codecs.open per scrivere byte UTF-8 in un file esterno. Non fare altre codifiche all'interno della tua applicazione.

Answer 3

Come hai capito, funziona se si utilizza semplicemente aperto.

Il motivo è che si è tentato di codificare UTF-8 due volte. Una volta in

f = codecs.open('eggs.csv', 'w', encoding="utf-8") 

e poi successivamente in UnicodeWriter.writeRow

# ... and reencode it into the target encoding 
data = self.encoder.encode(data) 

Per verificare che funziona questa utilizzare il codice originale e outcomment quella linea.

Greetz

Answer 4

ho incontrato la sfida csv/unicode un po 'indietro e gettò questo in su su bitbucket: http://bitbucket.org/famousactress/dude_csv .. potrebbe funzionare per voi, se le vostre esigenze sono semplici :)