Amazon MapReduce nessun processo di riduzione

Question

Sto tentando di creare un lavoro di mapper solo tramite AWS (un processo di streaming). Il campo riduttore è richiesto, quindi sto dando un file eseguibile fittizio e aggiungendo -jobconf mapred.map.tasks = 0 alla casella Argenti extra. Nell'ambiente hadoop (versione 0.20) che ho installato, non verranno avviati processi di ridimensionamento, ma in AWS il file eseguibile fittizio viene avviato e fallisce.

Come è possibile eseguire solo lavori di riduttore/mappatore in AWS?

Answer 1

puoi anche utilizzare cat o NONE come argomento del riduttore.

Answer 2

Non esiste alcun modo per creare un processo di mapper solo in Amazon M/R. Sto usando il riduttore di identità (org.apache.hadoop.mapred.lib.IdentityReducer).