Come convertire da GenericRecord a SpecificRecord in Avro per gli schemi compatibili

Question

L'Avro SpecificRecord (ovvero le classi java generate) è compatibile con l'evoluzione dello schema? Cioè se ho una fonte di messaggi Avro (nel mio caso, kafka) e voglio deserializzare quei messaggi su un record specifico, è possibile farlo in sicurezza?

quello che vedo:

• l'aggiunta di un campo per la fine di uno schema funziona bene - può deserializzare ok per specificrecord
• aggiunta di un campo al centro non - cioè rompe clienti esistenti

Anche se i messaggi sono compatibili, questo è un problema.

Se riesco a trovare il nuovo schema (utilizzando ad esempio confluenti registro schema) posso deserializzare a GenericRecord, ma non sembra essere un modo per mappare da genericrecord a specificrecord di diversi schemi ..

MySpecificType message = (T SpecificData.get().deepCopy(MySpecificType.SCHEMA$, genericMessage); 

Deepcopy è menzionato in vari punti ma utilizza l'indice quindi non funziona.

C'è un modo sicuro per mappare tra due oggetti avro quando si hanno entrambi gli schemi e sono compatibili? Anche se potessi mappare da genercrecord a genericrecord, ciò farebbe come potrei fare il trucco deepcopy per completare il lavoro.

Answer 1

Qui sono disponibili test di esempio per la conversione specifica del tipo di dati. Tutti i suoi nella configurazione '' specificDeserializerProps

https://github.com/confluentinc/schema-registry/blob/master/avro-serializer/src/test/java/io/confluent/kafka/serializers/KafkaAvroSerializerTest.java

ho aggiunto il seguente config e ottenuto il tipo specifico come voleva.

HashMap<String, String> specificDeserializerProps = new HashMap<String, String>(); 
specificDeserializerProps.put(KafkaAvroDeserializerConfig.SCHEMA_REGISTRY_URL_CONFIG, "bogus"); 
specificDeserializerProps.put(KafkaAvroDeserializerConfig.SPECIFIC_AVRO_READER_CONFIG, "true"); 
specificAvroDeserializer = new KafkaAvroDeserializer(schemaRegistry, specificDeserializerProps); 

Speranza che aiuta