Perché le stringhe Unicode di Python richiedono un trattamento speciale per BOM UTF-8?

Question

Per qualche motivo, Python sembra avere problemi con BOM durante la lettura di stringhe Unicode da un file UTF-8. Considera quanto segue:

with open('test.py') as f: 
    for line in f: 
     print unicode(line, 'utf-8') 

Sembra semplice, non è vero?

Questo è quello che ho pensato fino a quando ho eseguito da linea di comando ed ho ottenuto:

UnicodeEncodeError: 'charmap' codec can't encode character u'\ufeff' in position 0: character maps to <undefined>

Una breve visita a Google ha rivelato che BOM deve essere cancellato manualmente:

import codecs 
with open('test.py') as f: 
    for line in f: 
     print unicode(line.replace(codecs.BOM_UTF8, ''), 'utf-8') 

Questo funziona bene Comunque sto lottando per vedere qualche merito in questo.

Esiste una logica dietro al comportamento sopra descritto? Al contrario, UTF-16 funziona perfettamente.

Answer 1

La codifica 'utf-8-sig' consumerà la firma BOM per conto dell'utente.

Answer 2

Hai scritto:

UnicodeEncodeError: 'charmap' codec can't encode character u'\ufeff' in position 0: character maps to <undefined> 

Quando si specifica il "utf-8" codifica in Python, che vi porta in parola. I file UTF-8 non devono contenere per contenere un BOM. Non sono né richiesti né raccomandati. L'endianità non ha senso con le unità di codice a 8 bit.

distinte base rovinare tutto, troppo, perché non è più possibile fare solo:

$ cat a b c > abc 

se quei file UTF-8 hanno estranea (leggi: eventuali) distinte base in loro. Scopri ora perché le BOM sono così stupide/cattive/dannose in UTF-8? In realtà rompono le cose.

Una distinta base è metadata, non dati, e le specifiche di codifica UTF-8 non ne consentono il funzionamento delle specifiche UTF-16 e UTF-32. Quindi Python ti ha preso in parola e ha seguito le specifiche. Difficile dare la colpa a quello.

Se si sta tentando di utilizzare la distinta materiali come numero magico di tipo file per specificare il contenuto del file, non si dovrebbe farlo. Dovresti davvero usare un prototipo di livello superiore per questi scopi di metadati, proprio come faresti con un tipo MIME.

Questo è solo un altro bug bug di Windows, la soluzione per cui è utilizzare la codifica alternativa "utf-8-sig" da passare a Python.