Prestazioni Java con grandi quantità di RAM

Question

Sto esplorando la possibilità di eseguire un'applicazione Java su una macchina con grandi quantità di RAM (ovunque da 300 GB a 15 TB, probabilmente su una macchina SGI Altix 4700) e I ' Sono curioso di sapere come è probabile che il GC di Java si esibisca in questo scenario.

Ho sentito dire che le JVM di IBM o JRockit potrebbero essere più adatte a questo rispetto a quelle di Sun. Qualcuno sa di qualsiasi ricerca o dati sulle prestazioni della JVM in questa situazione?

Answer 1

sul Sole JVM, è possibile utilizzare l'opzione -XX: UseConcMarkSweepGC per accendere il marchio concorrente e spazzare collezionista, che eviterà quasi completamente le fasi di "fermare il mondo" dell'algoritmo GC predefinito, al costo di un po 'più di overhead.

Il consiglio di utilizzare più che su VM su una macchina del genere è IMHO obsoleto. Nelle applicazioni del mondo reale è spesso sufficiente disporre di dati condivisi in modo che le prestazioni con CMS e una JVM siano migliori.

Answer 2

Sicuramente la risposta su come il GC sta per esibirsi è "a chi importa?" ;-)

Answer 3

La domanda è: si desidera eseguire all'interno di un singolo processo (JVM) o no? Se lo fai, avrai un problema. Fare riferimento a Tuning Java Virtual Machines, Oracle Coherence User Guide e documentazione simile. La regola empirica su cui ho operato è provare ad evitare cumuli più grandi di 1 GB. Considerando che un GC completo da 512 MB-1 GB potrebbe richiedere meno di un secondo. Un GC completo da 2-4 GB potrebbe richiedere potenzialmente 5 secondi o più. Ovviamente questo dipende da molti fattori, ma la morale della storia è che il sovraccarico di GC non si ridimensiona linearmente e una volta entrati nella prestazione di un secondo, si degrada rapidamente.

Answer 4

Questa non è affatto la risposta alla tua domanda, ma se pianifichi di distribuire un'enorme app Java potresti essere interessato a esaminare Azul Systems appliances. Dicono di essere in grado di raccogliere i rifiuti senza creare una pausa nell'applicazione fino a un singolo heap da 670 GB.

Answer 5

di Sun JVM consente di configurare e ottimizzare il heck fuori di raccolta dei rifiuti, ma è una scienza a sé: http://java.sun.com/javase/technologies/hotspot/gc/gc_tuning_6.html

Potrebbe essere necessario fare un po 'di lettura e di ricerca, ma per questo tipo di macchina, GC le impostazioni ottimizzate per la macchina e l'applicazione fanno probabilmente una grande differenza.

Answer 6

Da 5.0 Hotspot JVM utilizza un concetto noto come Ergonomia per cercare di ottimizzare l'utilizzo della memoria. Questo si basa su più della semplice quantità di memoria disponibile e su dimensioni di heap degli effetti, dimensioni di generazione e algoritmi di garbage collection.

Inizia da avere una lettura di questo, che spiega Ergonomia e di più:

http://java.sun.com/j2se/reference/whitepapers/memorymanagement_whitepaper.pdf

C'è anche un ragazzo chiamato Brian Goetz che è scritto numerosi articoli su come Java alloca e utilizza la memoria, ognuno dei quali e più può essere trovato qui:

http://www.briangoetz.com/pubs.html

Answer 7

ci sono alcune risposte supplementari nelle risposte precedenti ad un similar question

Answer 8

Le uniche persone che possono veramente dire sei SGI. I computer super non si comportano come i server regolari solo più grandi.

Tuttavia, ho trovato che Java funziona meglio quando la memoria è locale ai processori che vi accedono. Nota: il GC deve essere in grado di percorrere l'intera memoria dall'inizio alla fine. Ciò significa che non si adatta bene se si dispone di un design che è come un sacco di computer bloccati insieme che potrebbe essere il caso qui. La dimensione del modulo di memoria è di 32 GB, pertanto è possibile ottenere prestazioni migliori se si limita la capacità della JVM di adattarsi a queste dimensioni.

Answer 9

Si consiglia di considerare l'esecuzione di un cluster virtuale Terracotta su questa macchina.

Answer 10

La risposta accettata per questo post è piuttosto vecchia ed è ormai obsoleta. A partire da settembre 2014, se stai usando Java 7, dovresti probabilmente passare al collector GC1. Dalle Java 7 Update 4 note di rilascio:.

http://www.oracle.com/technetwork/java/javase/7u4-relnotes-1575007.html

"Il collezionista G1 è mirato per applicazioni che utilizzano appieno la grande quantità di memoria disponibile in server multiprocessore di oggi, pur mantenendo le latenze di raccolta dei rifiuti sotto controllo le applicazioni che richiedono un grande heap, hanno un grande data set attivo, hanno carichi di lavoro scomposti o non uniformi o soffrono di lunghe latenze indotte dalla Garbage Collection che dovrebbero trarre vantaggio dal passaggio a G1. "