Lettura di un file più grande di 2 GB in Java

Question

Poiché ByteArrayInputStream è limitato a 2 GB, esiste una soluzione alternativa che mi consente di archiviare l'intero contenuto di un file da 2,3 GB (e possibilmente più grande) in un InputStream da leggere da Stax2?

codice attuale:

  XMLInputFactory xmlInputFactory = XMLInputFactory.newInstance(); 
      XMLStreamReader xmlStreamReader = xmlInputFactory.createXMLStreamReader(in); //ByteArrayInputStream???? 
      try 
      { 
       SchemaFactory factory = SchemaFactory.newInstance("http://www.w3.org/2001/XMLSchema"); 

       Schema schema = factory.newSchema(new StreamSource(schemaInputStream)); 
       Validator validator = schema.newValidator(); 
       validator.validate(new StAXSource(xmlStreamReader)); 

      } 

      finally 
      { 
       xmlStreamReader.close(); 
      } 

Per l'ottimizzazione delle prestazioni, variabile in non deve venire dal disco. Ho plenties di RAM.

Answer 1

Utilizzare NIO per leggere il file in un gigantesco ByteBuffer e quindi creare una classe di flusso che legge ByteBuffer. Ce ne sono diversi che fluttuano nelle fonti aperte.

Answer 2

Se si dispone di enormi quantità di memoria, in ogni caso non si otterranno miglioramenti delle prestazioni. Viene letto solo una volta in entrambi i casi e la cache del disco assicurerà che venga eseguita in modo ottimale. Basta usare un flusso di input basato su disco.

Answer 3

L'intero punto di StAX2 è che non è necessario leggere il file nella memoria. È sufficiente fornire l'origine e lasciare che StAX StreamReader estragga i dati come necessario.

Quali ulteriori vincoli hai che non vengono visualizzati nella domanda?

Se si dispone di molta memoria, e si desidera ottenere buone prestazioni, basta avvolgere l'InputStream con un buffer di byte di grandi dimensioni, e lasciare che il buffer di fare il buffer per voi:

// 4 meg buffer on the stream 
InputStream buffered = new BufferedInputStream(schemaInputStream, 1024 * 1024 * 4); 

Un'alternativa alla soluzione questo in Java è creare un RAMDisk e archiviare il file su di esso, che rimuoverebbe il problema da Java, dove la limitazione di base è che si può avere solo un valore inferiore a Integer.MAX_VALUE in un singolo array.

Answer 4

È possibile utilizzare la memoria scrittura dei dati compressi ad un

ByteArrayOutputStream baos = new ByteArrayOutputStream 
... new GZIPOutputStream(baos)); 

byte[] bytes = baos.toByteArray(); // < 100 MB? 

ByteArrayInputStream .... 

E poi avvolgere il flusso di input in un GZIPInputStream.

Ancora un piccolo rallentamento, ma dovrebbe essere ideale per XML.