MongoDB MapReduce - emettere una chiave/valore di uno pretende molto chiamare ridurre

Question

Quindi io sono nuovo con MongoDB e MapReduce in generale e mi sono imbattuto in questo "capriccio" (o almeno nella mia mente un capriccio)

Dire che ho oggetti nella mia collezione in questo modo:

{ 'chiave': 5, 'valore': 5}

{ 'chiave': 5, 'valore': 4}

'chiave' { : 5, 'valore': 1}

{ 'chiave': 4, 'valore': 6}

{ 'chiave': 4, 'valore': 4}

{ 'chiave': 3, 'valore': 0}

mio mappa funzione emette semplicemente la chiave e il valore

mio ridurre funzione aggiunge semplicemente i valori e prima di tornare li aggiunge 1 (ho fatto questo per controllare per vedere se la funzione di ridurre è e ven chiamato)

miei risultati seguono:

{ '_id': 3, 'valore': 0}

{ '_id': 4, 'valore': 11.0}

{ '_id': 5, 'valore': 11.0}

Come si può vedere, per i tasti 4 & 5 ottengo la risposta attesa di 11, ma per ° e tasto 3 (con una sola voce nella collezione con quella chiave) ottengo l'inaspettato 0!

È questo comportamento naturale di mapreduce in generale? Per MongoDB? Per il pymongo (che sto usando)?

Answer 1

La funzione di riduzione combina i documenti con la stessa chiave in un unico documento. Se la funzione mappa emette un singolo documento per un particolare tasto (come nel caso del tasto 3), la funzione di riduzione non verrà chiamata.

Answer 2

È questo comportamento naturale di mapreduce in generale?

Sì.

Answer 3

"MongoDB non chiama la funzione di riduzione per una chiave che ha solo un singolo valore L'argomento valori è una matrice i cui elementi sono gli oggetti valore" mappati "alla chiave."

http://docs.mongodb.org/manual/reference/command/mapReduce/#mapreduce-reduce-cmd

Answer 4

Mi rendo conto che è una domanda più vecchio, ma mi è venuto ad esso e sentivo come se ancora non ho capito perché questo comportamento esiste e come costruire la mappa/ridurre la funzionalità quindi è un non-problema.

Il motivo per cui MongoDB non chiama la funzione di riduzione se c'è una singola istanza di una chiave è perché non è necessario (spero che questo abbia più senso in un momento). I seguenti sono requirements for reduce functions:

• la funzione di ridurre deve restituire un oggetto il cui tipo deve essere identica al tipo del valore emessa dalla funzione carta.
• L'ordine degli elementi nel valoriArray non deve influire sull'output della funzione di riduzione
• La funzione di riduzione deve essere idempotente.

Il primo requisito è molto importante e mi sembra un numero di persone si affacciano perché ho visto un numero di persone mappatura nella funzione di ridurre quindi trattare il caso solo tasto nella funzione di finalizzazione . Questo è il modo sbagliato per risolvere il problema, tuttavia.

Pensate in questo modo: Se c'è solo una singola istanza di una chiave, una semplice ottimizzazione è di saltare completamente il riduttore (non c'è nulla da ridurre). I valori a chiave singola sono ancora inclusi nell'output, ma l'intento del riduttore è quello di creare un risultato aggregato dei documenti a più chiavi nella raccolta. Se il mappatore e il riduttore stanno emettendo lo stesso tipo, si dovrebbe essere beatamente inconsapevoli guardando la struttura dell'oggetto dell'output dalla mappa/riduci le funzioni. Non è necessario utilizzare una funzione finalizzata per correggere la struttura degli oggetti che non sono stati eseguiti attraverso il riduttore.

In breve, eseguire la mappatura nella funzione della mappa e ridurre i valori multi-chiave in un unico risultato aggregato nelle funzioni di riduzione.

Answer 5

Soluzione:

• aggiunto un nuovo campo in mappa: singola: 0
• in ridurre cambiamento questo campo per: singola: 1

• in finalizzare rendono il controllo di questo campo ed effettuare azioni richieste

  $map = new MongoCode("function() { 
      var value = { 
       time: this.time, 
       email_id: this.email_id, 
       single: 0 
      }; 
  
      emit(this.email, value); 
  }"); 
  
  $reduce = new MongoCode("function(k, vals) { 
  
      // make some need actions here 
      return { 
       time: vals[0].time, 
       email_id: vals[0].email_id, 
       single: 1 
      }; 
  }"); 
  
  $finalize = new MongoCode("function(key, reducedVal) { 
      if (reducedVal.single == 0) { 
       reducedVal.time = 11111; 
      } 
      return reducedVal; 
  };");