come accedere al valore del contatore del mapper in un riduttore?

Question

Voglio acces il valore myCounter.my in riduttore:

public static class Map extends Mapper<LongWritable, Text, ImmutableBytesWritable, ImmutableBytesWritable> 
{ 
    public static enum myCounter{my}; 

    @Override 
    public void map(LongWritable key, Text value, Context context) 
    { 
     context.getCounter(myCounter.my).increment(1); 
     context.write(new ImmutableBytesWritable (),new ImmutableBytesWritable()); 
    } 
} 


public static class Reduce extends Reducer<ImmutableBytesWritable, ImmutableBytesWritable, Text, Text> 
{ 
    @Override 
    public void reduce(ImmutableBytesWritable key,Iterable<ImmutableBytesWritable> result,Context context) 
    { 

    } 
} 

Accessing a mapper's counter from a reducer(for old API is given) come farlo funzionare per nuova API?

O

Voglio sapere il numero totale di uscita mapper? C'è un modo migliore? (Io non sono in grado di accedere contatore in Reducer:

Group Name->org.apache.hadoop.mapred.Task$Counter Counter Name->MAP_OUTPUT_RECORDS)

Grazie

Answer 1

È possibile accedere come segue:

Map.myCounter.my // static fields you can access by it's class name. 

Answer 2

Puoi accedere al tuo valore del contatore nel riduttore utilizzando lo stesso codice

Counter counter = context.getCounter(myCounter.my); 
     counter.getValue(); 

also see

Answer 3

È possibile farlo funzionare per nuove API accedendo ai contatori tramite oggetto lavoro.

Configuration conf = context.getConfiguration(); 
Cluster cluster = new Cluster(conf); 
Job currentJob = cluster.getJob(context.getJobID()); 
long val=currentJob.getCounters().findCounter(myCounter.my).getValue();