Hadoop: ottieni risultati dai file di output dopo la riduzione?

Question

Dato un lavoro con la mappa e ridurre le fasi, posso vedere che la cartella di output contiene file chiamati "part-r-00000".

Se ho bisogno di post-processare questi file a livello di applicazione, è necessario scorrere tutti i file nella cartella di output in ordine di denominazione naturale (part-r-00000, part-r-00001, part-r-00002 ...) per ottenere risultati di lavoro?

Oppure posso usare qualche lettore di file hadoop helper, che mi permetterà di ottenere un "iteratore" e gestire il cambio di file per me (quando il file part-r-00000 è completamente letto, continua dal file part-r-00001)?

Answer 1

In mapreduce si specifica una cartella di output, l'unica cosa che conterrà saranno i file part-r (che è l'output di un'attività di riduzione) e un file _SUCCESS (che è vuoto). Quindi penso che se vuoi fare postelaborazione devi solo impostare la directory di output di job1 come dir di input per il lavoro 2.

Ora potrebbero esserci dei requisiti per il tuo postprocessore che possono essere indirizzati, è per esempio importante elaborare i file di output in ordine?

Oppure, se si desidera elaborare i file localmente, tutto dipende dal formato di output del lavoro mapreduce, questo vi dirà come sono strutturati i file part-r. Quindi puoi usare semplicemente i/o standard, credo.

Answer 2

È possibile utilizzare il comando di shell getmerge di Hadoop File System (FS):

hadoop fs -getmerge /mapreduce/job/output/dir/ /your/local/output/file.txt 

Answer 3

Probabilmente si può usare Hadoop FileSystem per fare l'iterazione dall'applicazione dei file part-R-xxxxx.

FileSystem fs = FileSystem.get(new Configuration()); 
FileStatus[] status = fs.listStatus(new Path("hdfs://hostname:port/joboutputpath")); 
for (int i=0;i<status.length;i++){ 
    fs.open(status[i].getPath()))); 
} 

si può anche guardare in ChainMapper/ChainReducer.