È possibile avere più input con più mapper diversi in Hadoop MapReduce?

Question

È possibile avere più ingressi con più mapper diversi in Hadoop MapReduce? Ogni classe di mappatori lavora su un diverso insieme di input, ma tutti emettono coppie chiave-valore consumate dallo stesso riduttore. Nota che non sto parlando di concatenare i mapper qui, sto parlando di far girare diversi mapper in parallelo, non in modo sequenziale.

Answer 1

Questo è chiamato join.

Si desidera utilizzare i mapper ei riduttori nei pacchetti mapred. * (Precedenti, ma ancora supportati). I pacchetti più recenti (mapreduce. *) Consentono solo un input del mapper. Con i pacchetti mapred, si utilizza la classe MultipleInputs per definire il join:

MultipleInputs.addInputPath(jobConf, 
        new Path(countsSource),  
        SequenceFileInputFormat.class, 
        CountMapper.class); 
MultipleInputs.addInputPath(jobConf, 
        new Path(dictionarySource), 
        SomeOtherInputFormat.class, 
        TranslateMapper.class); 

jobConf.setJarByClass(ReportJob.class); 
jobConf.setReducerClass(WriteTextReducer.class); 

jobConf.setMapOutputKeyClass(Text.class); 
jobConf.setMapOutputValueClass(WordInfo.class); 

jobConf.setOutputKeyClass(Text.class); 
jobConf.setOutputValueClass(Text.class); 

Answer 2

io risponderò alla tua domanda con una domanda, 2 risposte, e un anti-raccomandazione.

La domanda è: quale vantaggio si vede nell'esecuzione di processi di mappa eterogenei in parallelo, anziché eseguirli in serie, producendo risultati omogenei che possono essere mescolati correttamente? L'idea è di evitare di passare due volte gli stessi record, una volta con una mappa delle identità?

La prima risposta è quella di programmare entrambi i lavori mapper-solo contemporaneamente, ognuno su metà della vostra flotta (o qualunque rapporto di partite al meglio la dimensione dei dati di input), l'output di risultati omogenei, seguiti da un lavoro di riduttore di sola esegue il join.

La seconda risposta è creare un formato di input personalizzato in grado di riconoscere e trasformare entrambi i sapori dell'ingresso eterogeneo. Questo è estremamente brutto, ma ti permetterà di evitare la mappa dell'identità non necessaria del primo suggerimento.

L'anti-raccomandazione è quella di non utilizzare le API deprecate Hadoop dalla risposta di Chris'. Hadoop è molto giovane, ma le API si stanno stabilizzando attorno al "nuovo" sapore. Alla fine arriverete alla versione lock-in.