Analisi di file XML di grandi dimensioni e marshalling su oggetti Java

Question

Ho il seguente problema: Ho file XML molto grandi (come 300+ Meg), e ho bisogno di analizzarli per aggiungere alcuni dei loro valori al db. Anche la struttura di questi file è molto complessa. Voglio usare Stax Parser in quanto offre la possibilità di eseguire il pull-parsing (e quindi l'elaborazione) solo di parti del file XML alla volta, e quindi non caricare l'intera cosa in memoria, ma d'altra parte ottenere i valori con Stax (almeno su questi file XML) è ingombrante, ho bisogno di scrivere una tonnellata di codice. Da quest'ultimo punto di vista mi sarà di grande aiuto se potessi eseguire il marshalling del file XML su oggetti Java (come fa JAX-B), tuttavia questo caricherà tutto il file più una tonnellata di istanze Object in memoria tutte in una volta.

La mia domanda è, c'è un modo per analizzare (o analizzare solo parzialmente) il file in modo sequenziale e quindi eseguire il marshalling solo di quelle parti sugli oggetti Java in modo che possa gestirle facilmente senza impattare sulla memoria?

Answer 1

Beh, prima di tutto voglio ringraziare i due persone rispondere alle mie domande, ma alla fine ho finito per non usare quelle proposizioni in parte perché queste tecnologie proposte sono un po 'lontano dalla Java di lasciare diciamo "standard XML parsing" e sembra strano andare così lontano quando c'è già uno strumento simile presente in Java e in parte anche perché in effetti ho trovato una soluzione che utilizza solo le API Java per ottenere questo risultato.

Non descriverò troppo la soluzione che ho trovato, perché ho già completato l'implementazione, ed è un bel pezzo di codice da inserire qui (io uso Spring Batch in cima a tutto, con una tonnellata di configurazione e roba).

Io comunque fare un piccolo commento su quello che ho finalmente finito per fare:

La grande idea qui è il fatto che se si dispone di un documento XML ed è corrispondente schema XSD, è possibile analizzare & marshall con JAXB, e puoi farlo in blocchi, e detti blocchi possono essere letti con un parser pari come STAX e quindi passati al Marshaller JAXB.

Questo praticamente significa che devi prima decidere dove si trova un buon posto nel tuo file XML dove puoi dire "questa parte qui ha MOLTA struttura ripetitiva, tratterò quelle ripetizioni una alla volta". Quelle parti ripetitive sono in genere lo stesso tag (figlio) ripetuto molto all'interno di un tag padre. Quindi tutto ciò che devi fare è creare un listener di eventi nel parser STAX che viene attivato all'inizio di ciascuno di questi tag figlio, quindi eseguire lo streaming su JAXB del contenuto di tale tag figlio, eseguirlo con JAXB ed elaborarlo.

molto l'idea è ottimamente descritta in questo articolo, che ho seguito (vero, è dal 2006, ma si tratta di JDK 1.6, che a quel tempo era abbastanza nuovo, quindi la versione-saggio non è che il vecchio a tutti):

http://www.javarants.com/2006/04/30/simple-and-efficient-xml-parsing-using-jaxb-2-0/

Answer 2

Vorrei raccomandare Eclipse EMF. Ma ha lo stesso problema, se gli dai il nome del file, analizzerebbe il tutto. Sebbene ci siano alcune opzioni per ridurre quanto viene caricato, ma non mi sono preoccupato molto di come eseguiamo su macchine con 96 GB di RAM. :)

In ogni caso, se il formato XML è ben definito, una soluzione è ingannare l'EMF suddividendo l'intero file in diversi frammenti XML più piccoli (ma ancora ben definiti). Quindi alimenta ogni frammento uno dopo l'altro. Non conosco JAX-B, ma forse la stessa soluzione alternativa può essere applicata anche lì. Che consiglierei, perché EMF è un martello troppo grande per un problema così piccolo.

Tanto per elaborare un po 'se il vostro XML è simile al seguente:

<tag1> 
    <tag2> 
     <tag3/> 
     <tag4> 
      <tag5/> 
     </tag4> 
     <tag6/> 
     <tag7/> 
    </tag2> 

    <tag2> 
     <tag3/> 
     <tag4> 
      <tag5/> 
     </tag4> 
     <tag6/> 
     <tag7/> 
    </tag2> 
............ 
    <tag2> 
     <tag3/> 
     <tag4> 
      <tag5/> 
     </tag4> 
     <tag6/> 
     <tag7/> 
    </tag2> 
</tag1> 

allora può essere suddiviso in uno XML ciascuna partendo <tag2> e termina con </tag2>. E in Java la maggior parte dei parser accetta un flusso, quindi analizza solo quello che vuoi, crea uno StringStream o qualcosa per ogni <tag2> in un ciclo e passa a JAX-B o EMF.

HTH

Answer 3

proiezione documento potrebbe essere la risposta qui. Saxon e una serie di altri processori XQuery offrono questo come opzione. Se si dispone di una query ragionevolmente semplice che seleziona una piccola quantità di dati da un documento di grandi dimensioni, il processore di query analizza la query per determinare quali parti dell'albero devono essere disponibili per la query e quali possono essere eliminate durante l'elaborazione. L'albero risultante può spesso essere solo l'1% delle dimensioni del documento completo. Dettagli per Saxon qui:

http://saxonica.com/documentation/sourcedocs/projection.xml