2011-12-14 34 views
6

Sono nuovo su questo argomento. Avevo deciso di sviluppare un framework di elaborazione parallelo per le applicazioni di elaborazione dei dati cloud in java per il mio progetto. il framework deve dividere il codice java sequenziale dato e elaborare i sottocodici in diverse macchine virtuali nel cloud. il framework deve allocare e deallocare dinamicamente le risorse in base al carico. Il mio problema è come sviluppare il framework.quadro di elaborazione parallela in java

Esistono librerie disponibili per pianificare il codice java in diverse macchine virtuali nel cloud? per favore informami se qualcosa è disponibile.

+0

È interessante notare che ho cercato di costruirne uno. Ho già una struttura di elaborazione parallela scritta usando semplice shell scripting e python (fabric). Non sono sicuro che sarebbe di aiuto. Hadoop o tempesta è più di elaborazione distribuita e aggregazione di dati in tempo reale/batch. Sono specificamente alla ricerca di framework di elaborazione paralleli basati su Java in quanto vi sono alcune dipendenze aggiuntive per averlo in Java. Almeno, sto cercando moduli Java che mi aiutino a costruire un'architettura di elaborazione parallela veramente imbarazzante. – user1652054

risposta

1

Dai un'occhiata allo Hadoop, un framework che consente praticamente la stessa cosa e supporta la distribuzione automatica del codice sul cluster.

4

Terracotta e Gridgain sono soluzioni eccellenti. Quelli citati da yerlikayaoglu (Hadoop e nocciola) sono eccellenti anche nel loro dominio, ma sono tutti e quattro molto diversi e dipendono dal caso d'uso. Questo è per la mappa/ridurre il problema

Un altro è l'allocazione/deallocazione di macchine virtuali. Dipende dal tuo provider cloud e da qualche altra cosa. Puoi dare un'occhiata a jClouds

0

Se vuoi eseguire l'elaborazione in tempo reale puoi dare un'occhiata a storm. Anche Akka fornisce una bella API per gli attori remoti per scala e java.