esegue il software Hadoop sui computer dell'ufficio (quando sono inattivi)

Esiste un progetto che aiuti a configurare un cluster Hadoop sui desktop dell'ufficio, quando sono inattivi?esegue il software Hadoop sui computer dell'ufficio (quando sono inattivi)

Mi piacerebbe sperimentare con Hadoop/MR/hbase ma non ho accesso a 5-10 computer. I computer in uso sono inattivi dopo ore e sono collegati tra loro tramite una connessione ad altissima velocità. Inoltre, i dati su questi computer rimangono all'interno della nostra rete, quindi non c'è alcun problema di privacy.

Per far funzionare tutto ciò, ho bisogno di un monitor abbastanza leggero che funzioni su ciascuna macchina. Quando il computer è rimasto inattivo per X ore, si unirà al cluster. Se l'utente si collega, deve abbandonare il cluster e restituire tutta la CPU/memoria.

Esiste qualcosa del genere?

fonte

2012-04-14 Shahbaz

consiglio vivamente Amazon AWS/Elastic Riduci mappa. È possibile impostare rapidamente cluster Hadoop abbastanza potenti. – Suman

È possibile utilizzare l'utilità di pianificazione per rilevare lo stato di inattività e quindi avviare/arrestare un vdo hadoop con virtual box o vmplayer. Oppure puoi scrivere uno script PowerShell che si ferma in base all'utilizzo delle risorse.

fonte

2012-04-14 05:24:42 johnshen64

Wow, non avevo idea che lo scheduler di Windows potesse programmare rispetto al tempo di inattività! Altri lo trovano utile: http://www.microsoft.com/resources/documentation/windows/xp/all/proddocs/en-us/agent_idle_time.mspx?mfr=true – Shahbaz

Abbiamo riferimenti o collegamenti dove possiamo stabilire e utilizzare la casella virtuale in ciascuno dei desktop che hanno 4 Giga di RAM e installazione Hadoop Cluster. Sarebbe un buon laboratorio sperimentale. Qualche idea o idea? –

Hadoop non è una griglia di calcolo, è più una griglia di dati (vedere la diapositiva 9 in this presentation). Il punto è che con hadoop i dati sono distribuiti sul cluster e quindi i dati devono essere memorizzati sui computer. Il tempo necessario per copiare i dati sopra/rimuoverli quando non sono inutilizzati probabilmente non varrebbe la pena - staresti meglio usando hadoop nel cloud (Amazon, Azure ecc.)

fonte

2012-04-16 08:38:50

Non rimuoverò i dati. Arrestare un nodo quando il computer viene utilizzato da un umano significa solo che rimuoverò temporaneamente il nodo dal cluster hadoop. Quando il computer è disponibile per il hasdoop, il nodo si avvierà e si unirà nuovamente al cluster. – Shahbaz

soluzioni come NEREUS che è una buona soluzione MPC in Java

fonte

2012-06-15 13:07:32 Grooveek

Grazie Grooveek. Ho già una soluzione simile nella mia università (greedy.epfl.ch). Quello che sto cercando è un'implementazione di Hadoop. – Renaud

vorrei usare qualcosa come Condor: http://research.cs.wisc.edu/condor/

fonte

2012-06-21 14:10:00 HaloWebMaster

Grazie HaloWebMaster. Ho già una soluzione Condor presso la mia università (greedy.epfl.ch). È grandioso, ma mi piacerebbe usare qualcosa come HDFS, quindi sono alla ricerca di un'implementazione Hadoop. – Renaud

È possibile utilizzare il [file system virtuale Parrot] (http://ccl.cse.nd.edu/software/parrot/) nei lavori di Condor. – mhucka

Si potrebbe voler dare un'occhiata al Virginia Tech Progetto Luna http://www.wired.com/wiredenterprise/2012/05/project_moon/

fonte

2012-06-21 17:57:34 fjxx

Il loro sistema è disponibile al di fuori di Virginia Tech? Non sono riuscito a trovare un collegamento per scaricarlo ... – Renaud

Renaud, potresti voler contattare il Piombo PI del Progetto Moon Wu-Chun Feng http://people.cs.vt.edu/~feng/ per verificare se è disponibile per il download – fjxx

esegue il software Hadoop sui computer dell'ufficio (quando sono inattivi)

risposta

Problemi correlati