Lunghezza della prima riga in un file UTF-8 con BOM

Question

Buon pomeriggio. Supponiamo di avere un file utf-8 con una singola lettera, diciamo "f" (no \ n e spazi) e cerco di ottenere una sequenza di lunghezze di linea.

(with-open [rdr (reader "test.txt")] 
    (doall (map #(.length %) (line-seq rdr)))) 

E ho

=> (2) 

Perché? C'è un modo elegante per ottenere la lunghezza giusta della prima stringa?

Answer 1

Il problema di BOM in Java è coperto in Reading UTF-8 - BOM marker. Sembra che possa essere estratta distanza utilizzando BOMInputStream dal di Apache Commons o deve essere rimosso manualmente, vale a dire

(defn debomify 
    [^String line] 
    (let [bom "\uFEFF"] 
    (if (.startsWith line bom) 
     (.substring line 1) 
     line))) 

(doall (map #(.length %) (.split (debomify (slurp "test.txt")) "\n"))) 

Se si vuole leggere un file pigramente utilizzando line-seq, ad esempio perché è enorme, è necessario trattare la prima riga usando debomify. Quelli rimanenti possono essere letti normalmente. Quindi:

(defn debommed-line-seq 
    [^java.io.BufferedReader rdr] 
    (when-let [line (.readLine rdr)] 
    (cons (debomify line) (lazy-seq (line-seq rdr)))))