Elimina caratteri non UTF da una stringa in Ruby?

Question

Come si eliminano caratteri non UTF8 da una stringa di rubini? Ho una stringa che contiene ad esempio "xC2". Voglio rimuovere quel carattere dalla stringa in modo che diventi un UTF8 valido.

questo:

text.gsub!(/\xC2/, '') 

restituisce un errore:

incompatible encoding regexp match (ASCII-8BIT regexp with UTF-8 string) 

stavo guardando text.unpack ('U *') e string.pack pure, ma non ha ottenuto da nessuna parte.

Answer 1

È possibile utilizzare /n, come in

text.gsub!(/\xC2/n, '') 

per forzare il Regexp per operare su byte.

Sei sicuro che questo è ciò che desideri? Qualsiasi carattere Unicode nell'intervallo [U + 80, U + BF] avrà un \xC2 nella sua forma codificata UTF-8.

Answer 2

Si potrebbe fare in questo modo

# encoding: utf-8 

class String 
    def validate_encoding 
    chars.select(&:valid_encoding?).join 
    end 
end 

puts "testing\xC2 a non UTF-8 string".validate_encoding 
#=>testing a non UTF-8 string 

Answer 3

Prova Iconv

1.9.3p194 :001 > require 'iconv' 
# => true 
1.9.3p194 :002 > string = "testing\xC2 a non UTF-8 string" 
# => "testing\xC2 a non UTF-8 string" 
1.9.3p194 :003 > ic = Iconv.new('UTF-8//IGNORE', 'UTF-8') 
# => #<Iconv:0x000000026c9290> 
1.9.3p194 :004 > ic.iconv string 
# => "testing a non UTF-8 string" 

Answer 4

È possibile utilizzare la codifica per questo. text.encode('UTF-8', :invalid => :replace, :undef => :replace)

Per maggiori informazioni guardare in Ruby-Docs

Answer 5

data = '' if not (data.force_encoding("UTF-8").valid_encoding?) 

Answer 6

La migliore soluzione a questo problema che ho trovato è questa risposta alla stessa domanda: https://stackoverflow.com/a/8711118/363293.

In breve: "€foo\xA0".chars.select(&:valid_encoding?).join

Answer 7

È testo sono la codifica ASCII-8 BIT, invece si dovrebbe usare questo:

String.delete!("^\u{0000}-\u{007F}"); 

Sarà recidere lo stesso scopo.