Come praticare la programmazione Hadoop?

Question

Appena iniziato a guardare i video introduttivi di Hadoop. Come praticarlo da solo? Esiste un modo consigliato di installare sul posto per esercitarsi?

Answer 1

Ho scoperto che il download e l'installazione di Hadoop, giocando con gli esempi di lavoro, facendo molti errori ed essendo ok, funzionava bene per la pratica.

Per "installare sul locale" se stai dicendo "come faccio a installarlo sul mio macchina locale senza usare HDFS?", C'è un excellent guide here.

Answer 2

Se volete conoscere Hadoop e Bigdata, guardare in bigdatauniversity.com. È gratuito e danno istruzioni su come installare Hadoop localmente su una macchina virtuale e/o nei servizi Web di Amazon. BigDataUniversity fornisce laboratori e istruzioni per guidare la tua pratica. L'ho trovato utile finora.

Answer 3

... Mi è piaciuto bigdatauniversity.com e ho anche notato che MapR, Hortonworks e Cloudera offrono tutti un ambiente scaricabile che è possibile utilizzare per acquisire familiarità con il paradigma operativo Hadoop.

In effetti, se stai studiando questo con un occhio per lavorare con Hadoop su scala Enterprise, è una buona idea esplorare i prodotti che vengono distribuiti a quel livello.

Ho avuto una piccola possibilità ora di esplorare direttamente con l'ambiente Hadoop di MapR e posso raccomandarlo come un buon modo per esaminare la questione.

--- v

Answer 4

Recentemente Cloudera ha lanciato una nuova piattaforma online dove si può giocare con Hadoop e il suo ecosistema tanto quanto si want.Here si va - cloudera.com/live

Answer 5

vorrei suggerire https://developer.yahoo.com/hadoop/tutorial/ per Hadoop studio autonomo. È una guida molto completa, passo dopo passo, dal principiante al livello avanzato.

Answer 6

È possibile installare una casella virtuale che include Hadoop ma è possibile che si verifichino dei problemi. L'ho fatto prima quando ho iniziato ad imparare Hadoop e dopo diversi problemi (IP, internet, diverse configurazioni) ho deciso di imparare con un'installazione Linux.

è possibile trovare un tutorial qui: http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

Answer 7

Mi sono allenato gente su Hadoop per 2 anni. Ecco i miei due centesimi.

Per la parte di apprendimento, mi sento di raccomandare le seguenti fonti (come detto da altri troppo sopra):

1. Yahoo Blog
2. Hadoop Definitive Guide
3. HortonWorks Practice Tutorials

E per la pratica, tradizionalmente le persone hanno utilizzato le macchine virtuali Hadoop ma questo approccio ha i suoi lati negativi:

1. Le macchine virtuali sono di grandi dimensioni, ad esempio la VM di HortonWorks è 9,9 GB.
2. Potrebbe essere necessario aggiornare la RAM a 8 GB.
3. Alcuni BIOS non consentono la virtualizzazione. Potresti aver cambiato le impostazioni del BIOS.
4. Alcune macchine come Office Desktops/Laptop potrebbero non consentire installazioni.

Anche i miei studenti e io abbiamo affrontato questi problemi mentre. Quindi, abbiamo creato un cluster per i nostri studenti per praticare Hadoop, Spark e le tecnologie correlate. E lo abbiamo chiamato come CloudxLab.com.