Decodifica utf8 con doppia codifica in Python

Question

Ho un problema con le stringhe che ottengo da uno dei miei client su xmlrpc. Mi manda utf8 stringhe che sono codificate due volte :(così quando le ottengo in python ho un oggetto unicode che deve essere decodificato ancora una volta, ma ovviamente python non lo permette.ho notato il mio client comunque ho bisogno fare soluzione rapida per il momento prima che lui la fissa

stringa crudo di discarica tcp:.

<string>Rafa\xc3\x85\xc2\x82</string> 

questo viene convertito in:

u'Rafa\xc5\x82' 

Il meglio che otteniamo è:

eval(repr(u'Rafa\xc5\x82')[1:]).decode("utf8") 

Ciò si traduce in corretta stringa che è:

u'Rafa\u0142' 

questo funziona però è brutto come l'inferno e non può essere utilizzato nel codice di produzione. Se qualcuno sa come risolvere questo problema in modo più adatto, scrivere. Grazie, Chris

Answer 1

 
>>> s = u'Rafa\xc5\x82' 
>>> s.encode('raw_unicode_escape').decode('utf-8') 
u'Rafa\u0142' 
>>> 

Answer 2

Yow, che è stato divertente!

>>> original = "Rafa\xc3\x85\xc2\x82" 
>>> first_decode = original.decode('utf-8') 
>>> as_chars = ''.join([chr(ord(x)) for x in first_decode]) 
>>> result = as_chars.decode('utf-8') 
>>> result 
u'Rafa\u0142' 

Così si esegue la prima decodifica, ottenendo una stringa Unicode in cui ogni carattere è in realtà un valore di byte UTF-8. Si passa attraverso il valore intero di ciascuno di questi caratteri per tornare a una vera stringa UTF-8, che poi decodificare come di consueto.

Answer 3

>>> weird = u'Rafa\xc5\x82' 
>>> weird.encode('latin1').decode('utf8') 
u'Rafa\u0142' 
>>> 

latin1 è solo un'abbreviazione per il metodo nuts'n'bolts di Richie.

È molto curioso che il codec raw_unicode_escape seriamente descritto dia lo stesso risultato di latin1 in questo caso. Danno sempre lo stesso risultato? Se è così, perché avere un tale codec? In caso contrario, sarebbe preferibile sapere con certezza esattamente come il client dell'OP ha effettuato la trasformazione da 'Rafa\xc5\x82' a u'Rafa\xc5\x82' e quindi per invertire esattamente tale processo, altrimenti potremmo scollarci se si verificano dati diversi prima della correzione della doppia codifica.