2016-01-21 22 views
5

Sto lavorando su Flume con Directory di spool come sorgente, HDFS come sink e File come canale. Quando si esegue il lavoro flume. Sto ricevendo sotto il problema. Il canale di memoria funziona correttamente. Ma abbiamo bisogno di implementare lo stesso usando il canale File. Usando il canale file sto ricevendo sotto il problema.Spazio utilizzabile esaurito nel canale utilizzando il canale file

Ho configurato la dimensione della memoria JVM a 3 GB nel file flume.env.sh. Per favore fammi sapere qualsiasi altra impostazione che dobbiamo fare.

20 gen 2016 20: 05: 27,099 ERRORE [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.SinkRunner $ PollingRunner.run: 160) - Impossibile recapitare l'evento. Segue l'eccezione. java.lang.IllegalStateException: canale chiuso [channel = Artiva-memory-channel]. A causa di java.io.IOException: spazio utilizzabile esaurito, solo 427515904 byte rimanenti, richiesto 524288000 byte

risposta

1

Il canale di file non ha nulla a che fare con la memoria ma con l'HDD (disco). Tale canale utilizza il file system per la memorizzazione dei dati. Quindi, controlla quanto spazio libero è disponibile nei dischi in cui sono scritti il ​​file del checkpoint e i file di dati (per favore, dai un'occhiata ai parametri FileChannel).

+0

Ciao..Grazie per la risposta ... ho dato minimumRequiredSpace = 524288000 ... ma sto ancora ricevendo lo stesso problema ... –

+1

Poiché si desidera configurare 524288000 byte la configurazione non funziona. Il log che hai pubblicato ha detto che nel tuo disco sono disponibili solo 427515904 byte. Pertanto, è necessario configurare 427515904 byte o meno affinché funzioni. – frb

+0

@frb Ottengo java.io.IOException: spazio utilizzabile esaurito, solo 0 byte rimanenti, richiesto 524288000 byte. errore dice che restano 0 byte ma ı controllato c'è 777 privilegi sulla cartella e ha molto spazio per questo. Come posso risolvere? – neverwinter