Scrittura su file UTF-8 in Python

Question

Sono davvero confuso con lo codecs.open function. Quando faccio:

file = codecs.open("temp", "w", "utf-8") 
file.write(codecs.BOM_UTF8) 
file.close() 

Mi dà l'errore

UnicodeDecodeError: 'ascii' codec can't decode byte 0xef in position 0: ordinal not in range(128)

Se lo faccio:

file = open("temp", "w") 
file.write(codecs.BOM_UTF8) 
file.close() 

Funziona benissimo.

Domanda perché il primo metodo fallisce? E come inserisco il bom?

Se il secondo metodo è il modo corretto di farlo, quale punto utilizzare codecs.open(filename, "w", "utf-8")?

Answer 1

Credo che il problema è che codecs.BOM_UTF8 è una stringa di byte, non una stringa Unicode. Sospetto che il gestore di file stia cercando di indovinare cosa intendi in base a "Io sono destinato a scrivere Unicode come testo con codifica UTF-8, ma mi hai dato una stringa di byte!"

Provare a scrivere la stringa Unicode per il segno di ordine dei byte (ad esempio Unicode U + FEFF) direttamente, in modo che il file appena codifica che, come UTF-8:

import codecs 

file = codecs.open("lol", "w", "utf-8") 
file.write(u'\ufeff') 
file.close() 

(Che sembra dare la risposta giusta - un file con byte EF BB BF.)

MODIFICA: S. Lott's suggestion dell'utilizzo di "utf-8-sig" poiché la codifica è migliore di quella che si scrive esplicitamente il BOM, ma lascerò questa risposta qui come spiega cosa stava andando storto prima.

Answer 2

leggere quanto segue: http://docs.python.org/library/codecs.html#module-encodings.utf_8_sig

fare questo

with codecs.open("test_output", "w", "utf-8-sig") as temp: 
    temp.write("hi mom\n") 
    temp.write(u"This has ♭") 

Il file risultante è UTF-8 con l'atteso BOM.

Answer 3

@ S-Lott dà la procedura corretta, ma in espansione sui Unicode problemi, il Python interprete in grado di fornire ulteriori approfondimenti.

Jon Skeet è giusto (insolito) sul modulo codecs - contiene stringhe di byte:

>>> import codecs 
>>> codecs.BOM 
'\xff\xfe' 
>>> codecs.BOM_UTF8 
'\xef\xbb\xbf' 
>>> 

Picking un'altra nit, il BOM ha uno standard nome Unicode, e può essere inserito come:

>>> bom= u"\N{ZERO WIDTH NO-BREAK SPACE}" 
>>> bom 
u'\ufeff' 

E 'accessibile anche tramite unicodedata:

>>> import unicodedata 
>>> unicodedata.lookup('ZERO WIDTH NO-BREAK SPACE') 
u'\ufeff' 
>>> 

Answer 4

Io uso il comando file * nix per convertire un file charset sconosciuto in un file UTF-8

# -*- encoding: utf-8 -*- 

# converting a unknown formatting file in utf-8 

import codecs 
import commands 

file_location = "jumper.sub" 
file_encoding = commands.getoutput('file -b --mime-encoding %s' % file_location) 

file_stream = codecs.open(file_location, 'r', file_encoding) 
file_output = codecs.open(file_location+"b", 'w', 'utf-8') 

for l in file_stream: 
    file_output.write(l) 

file_stream.close() 
file_output.close()