Parsing input unicode usando python json.loads

Question

Qual è il modo migliore per caricare le stringhe JSON in Python?

voglio usare json.loads per elaborare Unicode come questo:

import json 
json.loads(unicode_string_to_load) 

Ho provato anche la fornitura di 'encoding' parametro con valore 'utf-16', ma l'errore non è andato via.

SSCCE completa con l'errore:

# -*- coding: utf-8 -*- 
import json 
value = '{"foo" : "bar"}' 
print(json.loads(value)['foo'])  #This is correct, prints 'bar' 

some_unicode = unicode("degradé") 
#last character is latin e with acute "\xe3\xa9" 
value = '{"foo" : "' + some_unicode + '"}' 
print(json.loads(value)['foo'])   #incorrect, throws error 

Errore:

UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 
6: ordinal not in range(128) 

Answer 1

Le chiarisce OP (in un commento!) ...:

Source data is huge unicode encoded string

allora dovete sapere quale delle numerose codifiche Unicode che utilizza - chiaramente non "utf-16", poiché ciò non è riuscito, b ci sono così tanti altri - 'utf-8', 'iso-8859-15', e così via. Provali tutti fino a quando uno funziona, o print repr(str_to_load[:80]) e incolla ciò che mostra come una modifica della tua domanda, quindi possiamo indovinarlo a tuo nome! -).

Answer 2

ho typecasting la stringa in stringa Unicode utilizzando 'latin-1' corretto l'errore:

UnicodeDecodeError: 'utf16' codec can't decode byte 0x38 in 
position 6: truncated data 

codice fisso:

import json 

ustr_to_load = unicode(str_to_load, 'latin-1') 

json.loads(ustr_to_load) 

E poi l'errore non viene generata.

Answer 3

Con django è possibile utilizzare SimpleJSON e utilizzare carichi anziché solo caricare.

from django.utils import simplejson 

simplejson.loads(str_to_load, "utf-8") 

Answer 4

Il modo più semplice che ho trovato è

import simplejson as json 

in questo modo il codice rimane lo stesso

json.loads(str_to_load) 

di riferimento: https://simplejson.readthedocs.org/en/latest/