Python Streaming: come ridurre a più uscite (la sua possibile con Java però)

Question

ho letto Hadoop in Action e ha scoperto che in Java utilizzando MultipleOutputFormat e MultipleOutputs classi siamo in grado di ridurre i dati a più file, ma quello che io non sono sicuro è come? ottenere la stessa cosa usando Python streaming.

ad esempio:

   /out1/part-0000 
mapper -> reducer 
        \ out2/part-0000 

Se qualcuno sa, sentito, fatto cosa simile, fatemelo sapere

Answer 1

Il Dumbo Feathers, un insieme di classi Java da utilizzare insieme con Dumbo (una libreria Python che semplifica la scrittura di efficienti programmi Python M/R per hadoop), lo fa nel suo output classes.

Fondamentalmente, nel lavoro M/R di Python dumbo, si emette una chiave che è una tupla di due elementi: il primo elemento è il nome della directory su cui eseguire l'output, il secondo elemento è la chiave effettiva. La classe di output selezionata quindi ispeziona la tupla per trovare la directory di output da utilizzare e utilizza MultipleOutputFormat per scrivere in sottodirectory diverse.

Con dumbo, questo è facile a causa dell'uso di dattiloscritti come formato di output, ma penso che dovrebbe essere fattibile anche se si dispone di altri formati di output.