Conversione JSON in avro

Question

Sto convertendo Json in avro. Ho dati json in JSONArray. Quindi mentre lo convertiamo in array di byte, sto affrontando il problema.

sotto è il mio codice:

static byte [] fromJsonToAvro(JSONArray json, String schemastr) throws Exception { 

ExcelToJson ejj = new ExcelToJson(); 
List<String> list = new ArrayList<String>(); 


if (json != null) { 
    int len = json.length(); 
    for (int i=0;i<len;i++){ 
     list.add(json.get(i).toString()); 
    } 
} 


InputStream input = new ByteArrayInputStream(list.getBytes()); //json.toString().getBytes() 

DataInputStream din = new DataInputStream(input); 
        . 
        . 
        .//rest of the logic 

Così come posso farlo? Come convertire l'oggetto JsonArray in byte (ad esempio, come utilizzare il metodo getBytes() per gli oggetti JsonArray). Il codice sopra riportato che dà un errore allo list.getBytes() e che dice getBytes() non è pronto per la lista.

Answer 1

Avro funziona a livello di record, associato a uno schema. Non penso che esista un concetto come "convertire questo frammento JSON in byte per un campo Avro indipendente da qualsiasi schema o record".

Supponendo che la matrice è parte di una più grande record di JSON, se si sta iniziando con una serie di record, si potrebbe fare

public static byte[] jsonToAvro(String json, String schemaStr) throws IOException { 
    InputStream input = null; 
    DataFileWriter<GenericRecord> writer = null; 
    Encoder encoder = null; 
    ByteArrayOutputStream output = null; 
    try { 
     Schema schema = new Schema.Parser().parse(schemaStr); 
     DatumReader<GenericRecord> reader = new GenericDatumReader<GenericRecord>(schema); 
     input = new ByteArrayInputStream(json.getBytes()); 
     output = new ByteArrayOutputStream(); 
     DataInputStream din = new DataInputStream(input); 
     writer = new DataFileWriter<GenericRecord>(new GenericDatumWriter<GenericRecord>()); 
     writer.create(schema, output); 
     Decoder decoder = DecoderFactory.get().jsonDecoder(schema, din); 
     GenericRecord datum; 
     while (true) { 
      try { 
       datum = reader.read(null, decoder); 
      } catch (EOFException eofe) { 
       break; 
      } 
      writer.append(datum); 
     } 
     writer.flush(); 
     return output.toByteArray(); 
    } finally { 
     try { input.close(); } catch (Exception e) { } 
    } 
} 

Answer 2

Questa discussione è probabilmente utile:

http://mail-archives.apache.org/mod_mbox/avro-user/201209.mbox/%3CCALEq1Z8s1sfaAVB7YE2rpZ=v3q1V_h7Vm39h0HsOzxJ+qfQRSg@mail.gmail.com%3E

L'essenza è che esiste uno schema Json speciale ed è possibile utilizzare JsonReader/Writer per ottenere e da quello. Lo schema JSON si dovrebbe usare è definito qui:

https://github.com/apache/avro/blob/trunk/share/schemas/org/apache/avro/data/Json.avsc

Answer 3

Per un JSON on-line al convertitore Avro controllare il seguente URL

http://avro4s-ui.landoop.com

Sta usando la libreria avro4s che offre un molte conversioni incluso json => avro