JDBC + PostgreSQL query di grandi dimensioni danno di memoria

Question

Sto cercando di eseguire una query di PostgreSQL che restituisce un grande risultato:

connection.setAutoCommit(false); 
st = connection.createStatement(
    ResultSet.CONCUR_READ_ONLY, 
    ResultSet.TYPE_FORWARD_ONLY 
); 
st.setFetchSize(100); 
logMemory(); 
System.out.println("start query "); 
rs = st.executeQuery(queryString); 
System.out.println("done query "); 
logMemory(); 

ma questo utilizza un sacco di memoria:

Free memory; 4094347680 (= 3905 mb). 
start query 
done query 
Free memory; 2051038576 (= 1956 mb). 

(stampato con Runtime.getRuntime(). freeMemory())

Finora funziona, ma il database sarà molto più grande. Non ho mai bisogno dell'intero risultato in memoria; Ho solo bisogno di processare ogni riga, scrivere i risultati su disco e andare alla riga successiva.

So che "setFetchSize" è solo un suggerimento, ma lo troverei strano se postgresql/jdbc lo ignorasse, visto che esiste da anni.

Un modo per aggirare questo? La mia unica idea è quella di creare uno script batch che trasmetta il risultato della query su disco e quindi analizzare il file da Java ...

Answer 1

Ouch, questo è uno dei bug più fastidiosi con JDBC che ho visto. Si dovrebbe cambiare

st = connection.createStatement(
    ResultSet.CONCUR_READ_ONLY, 
    ResultSet.TYPE_FORWARD_ONLY 
); 

in

st = connection.createStatement(
    ResultSet.TYPE_FORWARD_ONLY, 
    ResultSet.CONCUR_READ_ONLY 
); 

Forse semplicemente

st = connection.createStatement(); 

funziona altrettanto bene (come hai incontrato gli altri criteri per un cursore).

Answer 2

Here sono le linee guida per garantire che il set di risultati venga effettivamente recuperato con un cursore . Sembra che tu abbia colpito tutti quelli conosciuti nel tuo codice, ma non hai specificato l'istruzione, quindi potrebbe essere più teso insieme al punto e virgola (improbabile, dall'aspetto del tuo codice). Devi usare il protocollo V3 (versione 7.4 o successiva). Tutte queste cose si applicano al tuo caso?