eseguire un processo di Hadoop, senza file di output

E 'possibile eseguire un processo di Hadoop senza specificare il file di output? Quando provo a eseguire un lavoro hadoop, nessun file di output specificato viene generato. chiunque può dare qualsiasi procedura per farlo utilizzando Java.eseguire un processo di Hadoop, senza file di output

sto scrivendo i dati elaborati da ridurre al database non relazionali in modo che io non richiedono più tempo per scrivere a HDFS.

fonte

2012-10-03 R45c4l

È necessario fornire ulteriori informazioni su ciò che hai provato e che cosa si sta cercando di fare. Qual è lo scopo dell'esecuzione del lavoro MR? Perché sia significativo produrrà un output di qualche tipo. Dove va? Non HDFS, ovviamente. Va in HBase o in qualche negozio o servizio esterno? –

Scusaci, ho aggiornato la mia domanda. – R45c4l

Purtroppo, non si può davvero fare questo. La scrittura dell'output fa parte del framework. Quando lavori al di fuori del framework, devi sostanzialmente affrontare le conseguenze.

È possibile utilizzare NullOutputFormat, che non scrivere alcun dato a HDFS. Penso che crei ancora la cartella, però. Puoi sempre lasciare che Hadoop crei la cartella, quindi delete it.

fonte

2012-10-03 13:13:50

FYI NullOutputFormat non richiede una cartella di output da definire, quindi dovrebbe darti quello che ti serve –

eseguire un processo di Hadoop, senza file di output

risposta

Problemi correlati