Sto pianificando di acquisire esperienza su hadoop, mapreduce e altre cose di big data. inizialmente voglio installarlo sul laptop. Mi chiedevo quale fosse il migliore hardware per laptop consigliato per l'installazione di hadoop su Windows. Suppongo di dover installare un'installazione a singolo nodo, altrimenti mi guidi la corretta configurazione per quanto riguarda Nadeemper l'installazione di hadoop su laptop
So che lei ha citato voler installare su Windows, ma Cloudera sta offrendo a singolo nodo immagini Hadoop Linux VM che possono ottenere sei attivo e in esecuzione in pochissimo tempo. Hai anche esempi e script inclusi, è un ottimo punto di partenza.
https://www.cloudera.com/downloads.html
(Non dimenticate di consultare la sezione Getting Started.)
A mio parere, se si vuole conoscere Big Data e Hadoop, si dovrebbe anche investire un po 'di tempo a familiarizzare con Linux, come la maggior parte degli ambienti reali là fuori sono basati su Linux.
Requisiti di sistema: Per pagina Cloudera, la VM richiede 4 GB di RAM e 3 GB di spazio su disco. Ciò significa che il tuo laptop dovrebbe avere più di questo (mi raccomando 8GB +). Dal punto di vista dell'archiviazione, finché hai abbastanza da testare con set di dati di piccole e medie dimensioni (10s di GB), starai bene. Per quanto riguarda la CPU, se la tua macchina ha quella quantità di RAM probabilmente starai bene. Sto usando un Pentium G3210 pappagallo single-node con 4GB di ram per testare i miei piccoli lavori e funziona perfettamente.
In seguito, se si supera questo ambiente, è sufficiente passare alla propria configurazione pseudo-distribuita.
Naturalmente, se quello che ho appena detto non ha senso per voi, allora si hanno qualche lettura in anticipo ...
sono morti: la versione corrente è 5-4 (e quindi il vecchio URL non funziona). se qualcuno è interessato, vedere https://www.cloudera.com/content/www/en-us/downloads.html e quindi scegliere la versione corrente – tlegutko
Se voglio impostare un cluster per scopi di formazione, ad esempio 30 persone alla volta solo per dare loro una sensazione del sistema (sarà per lo più Hive) - che tipo di hardware dovrei cercare il NameNode e il DataNode? A quanti nodi dati dovrei mirare idealmente? Non sto osservando lo scricchiolio di molti dati. È solo per l'esperienza e la formazione. – Indrajit
Windows 64 bit con RAM da 4 GB dovrebbe fare del bene. Ho pubblicato un blog. In questo blog ho registrato la procedura dettagliata con screenshot supportati per l'installazione e la configurazione di cluster Hadoop in una modalità pseudo distribuita utilizzando il bit PC o laptop
di Windows 64 Si tratta di un processo in 3 step
Fase 1 - Installare VM Player
Fase 2 - Impostazione Lubuntu Virtual Machine
Fase 3 - Installare Hadoop
La domanda riguarda i requisiti hardware, non le istruzioni di installazione. I collegamenti – sth
È improbabile che tu sia pronto per avere un laptop solo per Linux. Pertanto, è necessaria una CPU a 64 bit che supporti la virtualizzazione a 64 bit e, naturalmente, il sistema operativo a 64 bit. Il supporto per la virtualizzazione è spesso disabilitato a livello di BIOS, è necessario trovarlo e abilitarlo.
Oltre a questo, un sacco di RAM - almeno 8 GB, anche se 16 GB è preferito. Mi piace anche avere diversi dischi rigidi per sistemi operativi diversi, quindi un laptop in cui è possibile sostituire DVD con un caddy HD e un secondo disco rigido SSC (ad esempio 128 GB) sarebbe buono.
Se si desidera praticare programmi semplici (non intensivi di dati), la RAM da 4 GB dovrebbe essere buona. Se si desidera installare un nodo singolo, la configurazione migliore sarebbe 32 GB di RAM con almeno 4 core.
Per ulteriori informazioni su come installare un singolo nodo, si riferiscono a myhobbyandexperiments.wordpress.com
Date un'occhiata a http://wiki.apache.org/hadoop/Hadoop2OnWindows per l'installazione di Windows (senza cygwin). Non ha davvero un elenco di requisiti di sistema, ma io quando scarichi hadoop come specificato sul sito, il download ha un README (BUILDING.txt) che ha i requisiti di sistema. –