Come decodificare una stringa che è stata codificata in UTF-8 due volte in UTF-8 semplice?

Question

Ho un'enorme tabella MySQL che ha le sue righe codificate in UTF-8 due volte. Ad esempio "Újratárgyalja" è memorizzato come "Újratárgyalja".

Il connettore MySQL .Net li scarica in questo modo. Ho provato molte combinazioni con System.Text.Encoding.Convert() ma nessuno di loro ha funzionato.

L'invio di set names 'utf8' (o altro set di caratteri) non lo risolverà.

Come posso decodificarli da doppio UTF-8 a UTF-8?

Answer 1

Problema particolare, ma penso di poterlo riprodurre con un miscuglio appropriato di UTF-8 e Latin-1 (non con solo due usi di UTF-8 senza un mis-step intervallato in Latin-1) . Ecco tutto il viaggio di andata strano "andata e ritorno di nuovo" (Python 2. * o IronPython dovrebbe sia essere in grado di riprodurre questo):

# -*- coding: utf-8 -*- 
uni = u'Újratárgyalja' 
enc1 = uni.encode('utf-8') 
enc2 = enc1.decode('latin-1').encode('utf-8') 
dec3 = enc2.decode('utf-8') 
dec4 = dec3.encode('latin-1').decode('utf-8') 

for x in (uni, enc1, enc2, dec3, dec4): 
    print repr(x), x 

Questa è l'uscita interessante ...:

u'\xdajrat\xe1rgyalja' Újratárgyalja 
'\xc3\x9ajrat\xc3\xa1rgyalja' Újratárgyalja 
'\xc3\x83\xc2\x9ajrat\xc3\x83\xc2\xa1rgyalja' Ãjratárgyalja 
u'\xc3\x9ajrat\xc3\xa1rgyalja' Ãjratárgyalja 
u'\xdajrat\xe1rgyalja' Újratárgyalja 

La stringa strana che inizia con Ã appare come enc2, cioè due codifiche utf-8 con una decodifica latin-1 intervallata gettata nel mix. E come puoi vedere, può essere annullato dalla sequenza di operazioni esattamente inverse: decodifica come utf-8, ri-codifica come latin-1, ri-decodifica come utf-8 di nuovo - e la stringa originale è tornata (yay !).

Credo che le normali proprietà di round-trip sia di Latin-1 (ovvero ISO-8859-1) sia di UTF-8 dovrebbero garantire che questa sequenza funzioni (scusa, nessun C# intorno a provare in quella lingua in questo momento , ma mi aspetto che le sequenze di codifica/decodifica non dipendano dallo specifico linguaggio di programmazione in uso).

Answer 2

Si potrebbe provare a utilizzare

SELECT CONVERT(`your_column` USING ascii) 
FROM `your_table` 

a livello di query MySQL. Questa è una pugnalata al buio, però.

Answer 3

Quando si scrive "Il connettore MySQL .Net li scarica in questo modo". c'è una buona possibilità che questo significhi che il connettore .Net di MySQL crede che stia parlando Latin-1 a MySQL, mentre MySQL crede che la conversazione sia in UTF-8. C'è anche la possibilità che la colonna sia dichiarata come Latin-1, ma in realtà contiene dati UTF-8.

Se è il secondo (colonna con etichetta Latin-1 ma i dati sono in realtà UTF-8) si ottengono misteriosi problemi di collazione e altri bug se si utilizzano le funzioni di elaborazione del testo di MySQL, ORDER BY sulla colonna o altre situazioni dove il testo "significa qualcosa" piuttosto che essere semplicemente i byte inviati sul filo.

In entrambi i casi si dovrebbe provare a risolvere il problema sottostante, non ultimo perché sarà un mal di testa completo per chiunque debba mantenere il sistema in caso contrario.