Convert caratteri non ASCII da ASCII-8BIT a UTF-8

Question

sto tirando testo da siti remoti e cercando di caricarlo in una Ruby 1.9/Rails 3 app che utilizza UTF-8 per impostazione predefinita.

Ecco un esempio di un testo incriminato:

sguardi

Cancer Res; 71(3); 1-11. ©2011 AACR.\n 

Quel codice Copyright ampliato come questo:

Cancer Res; 71(3); 1-11. \xC2\xA92011 AACR.\n 

Rubino mi dice che stringa viene codificato come ASCII-8 bit e l'alimentazione nel mio App Rails mi ottiene questo:

incompatible character encodings: ASCII-8BIT and UTF-8 

Posso spogliare il codice di copyright fuori usando questo Gex

str.gsub(/[\x00-\x7F]/n,'?') 

per produrre questo

Cancer Res; 71(3); 1-11. ??2011 AACR.\n 

Ma come posso ottenere un simbolo di copyright (e vari altri simboli come lettere greche) convertito negli stessi simboli in UTF-8? Sicuramente è possibile ...

vedo riferimenti a utilizzare force_encoding, ma questo non funziona:

str.force_encoding('utf-8').encode 

Mi rendo conto che ci sono molte altre persone con problemi simili, ma ho ancora vedere una soluzione che lavori.

Answer 1

questo funziona per me:

#encoding: ASCII-8BIT 
str = "\xC2\xA92011 AACR" 
p str, str.encoding 
#=> "\xC2\xA92011 AACR" 
#=> #<Encoding:ASCII-8BIT> 

str.force_encoding('UTF-8') 
p str, str.encoding 
#=> "©2011 AACR" 
#=> #<Encoding:UTF-8> 

Answer 2

ho usato per fare questo per uno script che raschiato pagine greca di Windows-codificati, utilizzando l'open-uri, iconv e Hpricot:

doc = open(DATA_URL) 
doc.rewind 
data = Hpricot(Iconv.conv('utf-8', "WINDOWS-1253", doc.readlines.join("\n"))) 

credo che era di ruby ​​1.8.7, non so come stanno le cose con ruby ​​1.9

Answer 3

ci sono due possibilità:

1. I dati di input è già UTF-8, ma solo di Ruby non lo sa. Questo sembra essere il tuo caso, poiché "\ xC2 \ xA9" è UTF-8 valido per il simbolo del copyright. Nel qual caso devi dire a Ruby che i dati sono già UTF-8 usando force_encoding.

   Ad esempio "\ xC2 \ xA9" .force_encoding ('ASCII-8BIT') ricreare il bit pertinente dei dati di input. E "\ xC2 \ xA9" .force_encoding ('ASCII-8BIT'). Force_encoding ('UTF-8') dimostrerebbe che puoi dire a Ruby che è davvero UTF-8 e ottenere il risultato desiderato.

2. dati L'ingresso è in qualche altra codifica e avete bisogno di Ruby di transcodificare a UTF-8. In questo caso dovresti dire a Ruby qual è la codifica corrente (ASCII-8BIT è ruby-speak per binario, non è una vera codifica), quindi di 'a Ruby di transcodificarlo.

   Per esempio, dicono i dati di input è stato ISO-8859-1. In questa codifica il simbolo del copyright è solo "\ xA9". Questo genera una tale bit di dati: "\ xA9" .force_encoding ('ISO-8859-1') e questo dimostrerebbe che è possibile ottenere Ruby per transcodificare che in UTF-8: "\ xA9" .force_encoding ('ISO -8.859-1').encode ('UTF-8')