5
Ho scritto un programma utilizzando Java Spark API. Dato miei dati è grande, sto ottenendo il seguente erroreCome aumentare lo spazio dell'heap Java sul cluster Spark Amazon EC2?
java.lang.OutOfMemoryError: Java heap space
Qualsiasi idea di come aumentare lo spazio java mucchio di grappolo EC2 Spark su Aws? Posso fornire dettagli sul mio codice e sulla configurazione del cluster, se necessario. Grazie.
puoi pubblicare il log degli errori per il problema? Aiuterà gli altri a ottenere una migliore visione del problema. – lighthouse
'Eccezione nella discussione" pool-2-thread-3 "java.lang.OutOfMemoryError: Java heap space su java.nio.HeapByteBuffer. (HeapByteBuffer.java:57) all'indirizzo java.nio.ByteBuffer.allocate (ByteBuffer.java:331) all'indirizzo org.apache.spark.network.Message $ .create (Message.scala: 88) all'indirizzo org.apache .spark.network.ReceivingConnection $ Inbox.org $ apache $ spark $ network $ ReceivingConnection $ Inbox $$ createNewMessage $ 1 (Connection.scala: 438) .... 10 righe in più .... ' –