Python csv: UnicodeDecodeError

Question

Sto leggendo in un file con il modulo csv di Python e ho ancora un'altra domanda di codifica (scusa, ce ne sono così tante qui).

Nel file CSV, ci sono segni £. Dopo aver letto la riga e averla stampata, sono diventate \ xa3.

Cercando di codificarli come Unicode produce una UnicodeDecodeError:

row = [unicode(x.strip()) for x in row] 
UnicodeDecodeError: 'ascii' codec can't decode byte 0xa3 in position 0: ordinal not in range(128) 

Ho letto il csv documentation e le numerose altre domande su questo su StackOverflow. I penso a che £ diventando \ xa3 in ASCII significa che il file CSV originale è in UTF-8.

(Per inciso, c'è un modo rapido per verificare la codifica di un file CSV?)

Se è in UTF-8, quindi il modulo csv non dovrebbe essere in grado di farvi fronte? Sembra che stia trasformando tutti i simboli in ASCII, anche se la documentazione afferma che accetta UTF-8.

Ho provato ad aggiungere una funzione unicode_csv_reader come descritto nello csv examples, ma non aiuta.

---- EDIT -----

vorrei chiarire una cosa. Ho visto this question, che sembra molto simile. Ma aggiungendo la funzione unicode_csv_reader definita non produce un errore diverso, invece:

yield [unicode(cell, 'utf-8') for cell in row] 
UnicodeDecodeError: 'utf8' codec can't decode byte 0xa3 in position 8: unexpected code byte 

Quindi forse il mio file non è UTF8, dopo tutto? Come posso dire?

Answer 1

Provare a utilizzare "ISO-8859-1" per la codifica. Sembra che tu abbia a che fare con ASCII esteso, non con Unicode.

Edit:

Ecco qualche semplice codice che si occupa di ASCII estesi:

>>> s = "La Pe\xf1a" 
>>> print s 
La Pe±a 
>>> print s.decode("latin-1") 
La Peña 
>>> 

Ancora meglio, che fare con il carattere esatto che si sta dando problemi:

>>> s = "12\xa3" 
>>> print s.decode("latin-1") 
12£ 
>>> 

Answer 2

Se sono su Windows, è molto probabile che la codifica che dovresti usare sia una della famiglia cp125X ... es se sei in Europa occidentale o nelle Americhe, sarà cp1252. Il software Windows utilizza spesso i byte nell'intervallo da \x80 a \x9F incluso per codificare i caratteri di punteggiatura di fantasia mentre tale intervallo è riservato in ISO-8859-X per i "caratteri di controllo C1" usati raramente.

Si può scoprire la solita codifica nel vostro locale eseguendo questo nella riga di comando:

python -c "import locale; print locale.getpreferredencoding()"