Quale sarebbe una buona applicazione per una versione migliorata di MapReduce che condivide le informazioni tra i Mapper?

Question

Sto costruendo un miglioramento del framework Spark (http://www.spark-project.org/). Spark è un progetto di UC Berkeley che MapReduce rapidamente nella RAM. Spark è costruito in Scala.

Il miglioramento che sto costruendo consente di condividere alcuni dati tra i mappatori mentre stanno calcolando. Questo può essere utile, ad esempio, se ognuno dei mappatori sta cercando una soluzione ottimale e tutti vogliono condividere la soluzione migliore corrente (per eliminare tempestivamente le soluzioni errate). La soluzione potrebbe essere leggermente obsoleta durante la propagazione, ma ciò dovrebbe comunque accelerare la soluzione. In generale, questo è chiamato l'approccio branch-and-bound.

Possiamo condividere numeri monotonicamente crescenti, ma anche condividere matrici e dizionari.

Stiamo anche esaminando applicazioni di apprendimento automatico in cui i mappatori descrivono le informazioni sul gradiente naturale locale, quindi una nuova migliore soluzione ottimale corrente viene condivisa tra tutti i nodi.

Quali sono alcune altre buone applicazioni del mondo reale di questo tipo di miglioramento? Quali tipi di applicazioni reali e utili potrebbero trarre beneficio da un calcolo di riduzione della mappa con solo un piccolo frammento di condivisione di informazioni tra i mapper. Quali applicazioni utilizzano MapReduce o Hadoop al momento ma sono solo un po 'troppo lente a causa della restrizione di indipendenza della fase Map?

Il vantaggio può essere quello di accelerare la fase della mappa o migliorare la soluzione.

Answer 1

Il miglioramento che sto costruendo consente di condividere alcuni dati tra i mappatori mentre stanno calcolando.

Apache Giraph si basa su Google Pregel che si basa sulla BSP e viene utilizzato per l'elaborazione del grafico. In BSP, vi è la condivisione dei dati tra i processi nella fase di comunicazione.

Giraph dipende da Hadoop per l'implementazione. In generale non c'è comunicazione tra i mappatori in MapReduce, ma in Giraph i mappatori comunicano tra loro durante la fase di comunicazione di BSP.

Potrebbe anche essere interessato a Apache Hama che implementa BSP e può essere utilizzato per più di elaborazione del grafico.

Potrebbe esserci qualche motivo per cui i mappatori non comunicano nel MR. Hai considerato questi fattori nel tuo miglioramento?

Quali sono alcune altre buone applicazioni del mondo reale di questo tipo di miglioramento?

L'elaborazione del grafico è una cosa a cui riesco a pensare, simile a Giraph. Controlla i diversi casi d'uso per BSP, alcuni potrebbero essere applicabili a questo tipo di miglioramento. Sono anche molto interessato a ciò che altri hanno da dire su questo.