Utilizzo di awk per rimuovere il contrassegno ordine byte

Question

In che modo uno script awk (presumibilmente un liner) è simile alla rimozione di BOM?

Specification:

• stampa ogni linea dopo il primo (NR > 1)
• per la prima riga: Se inizia con #FE #FF o #FF #FE, rimuovere quelli e stampare il resto

Answer 1

Try this:

awk 'NR==1{sub(/^\xef\xbb\xbf/,"")}{print}' INFILE > OUTFILE 

Sul primo record (riga), rimuovere i caratteri BOM. Stampa ogni record.

o leggermente più corta, utilizzando le conoscenze che l'azione predefinita in awk è quello di stampare il record:

awk 'NR==1{sub(/^\xef\xbb\xbf/,"")}1' INFILE > OUTFILE 

1 è la condizione più breve che restituisce sempre vero, così ogni record viene stampato.

Divertiti!

- ADDENDUM -

Unicode Byte Order Mark (BOM) FAQ include la seguente tabella elenca l'esatto BOM byte per ogni codifica:

Bytes   | Encoding Form 
-------------------------------------- 
00 00 FE FF | UTF-32, big-endian 
FF FE 00 00 | UTF-32, little-endian 
FE FF   | UTF-16, big-endian 
FF FE   | UTF-16, little-endian 
EF BB BF  | UTF-8 

Così, si può vedere come \xef\xbb\xbf corrisponde a EF BB BFUTF-8 BOM byte da la tabella sopra.

Answer 2

Non awk, ma più semplice:

tail -c +4 UTF8 > UTF8.nobom 

Per verificare la presenza di BOM:

hd -n 3 UTF8 

Se BOM è presente vedrete: 00000000 ef bb bf ...

Answer 3

Utilizzando GNU sed (su Linux o Cygwin):

# Removing BOM from all text files in current directory: 
sed -i '1 s/^\xef\xbb\xbf//' *.txt 

su FreeBSD:

sed -i .bak '1 s/^\xef\xbb\xbf//' *.txt 

vantaggio di usare GNU o FreeBSD sed: il parametro -i significa "a posto", e aggiornerà i file senza la necessità di reindirizzamenti o trucchi strani.

Su Mac:

This awk solution in another answer works, ma il comando sed sopra non funziona. Almeno su Mac (Sierra) la documentazione sed non menziona il supporto per l'escape esadecimale ala \xef.

Un trucco simile può essere ottenuto con qualsiasi programma dalla tubazione allo strumento sponge da moreutils:

awk '…' INFILE | sponge INFILE 

Answer 4

So che la domanda era rivolta a Unix/Linux, pensato che varrebbe la pena di parlare di una buona opzione per unix-challenge (su Windows, con un'interfaccia utente).
Mi sono imbattuto nello stesso problema in un progetto WordPress (la distinta base stava causando problemi con feed RSS e convalida della pagina) e ho dovuto esaminare tutti i file in un albero di directory abbastanza grande per trovare quello che era con BOM. Trovato un applicazione chiamata Replace Pioneer e in essa:

Batch Runner -> Ricerca (per trovare tutti i file nelle sottocartelle) -> Sostituire Template -> Binary rimuovere BOM (v'è una ricerca fatta pronta e sostituire modello per questo) .

Non era la soluzione più elegante e richiedeva l'installazione di un programma, che è uno svantaggio. Ma una volta che ho scoperto cosa stava succedendo intorno a me, ha funzionato come un incantesimo (e ho trovato 3 file su circa 2300 che erano con BOM).

Answer 5

Oltre a convertire i fine riga CRLF a LF, dos2unix rimuove anche le distinte base:

dos2unix *.txt 

dos2unix converte anche UTF-16 file con una distinta base (ma non UTF-16 file senza un BOM) a UTF- 8 senza BOM:

$ printf '\ufeffä\n'|iconv -f utf-8 -t utf-16be>bom-utf16be 
$ printf '\ufeffä\n'|iconv -f utf-8 -t utf-16le>bom-utf16le 
$ printf '\ufeffä\n'>bom-utf8 
$ printf 'ä\n'|iconv -f utf-8 -t utf-16be>utf16be 
$ printf 'ä\n'|iconv -f utf-8 -t utf-16le>utf16le 
$ printf 'ä\n'>utf8 
$ for f in *;do printf '%11s %s\n' $f $(xxd -p $f);done 
bom-utf16be feff00e4000a 
bom-utf16le fffee4000a00 
    bom-utf8 efbbbfc3a40a 
    utf16be 00e4000a 
    utf16le e4000a00 
     utf8 c3a40a 
$ dos2unix -q * 
$ for f in *;do printf '%11s %s\n' $f $(xxd -p $f);done 
bom-utf16be c3a40a 
bom-utf16le c3a40a 
    bom-utf8 c3a40a 
    utf16be 00e4000a 
    utf16le e4000a00 
     utf8 c3a40a