2014-05-06 15 views
5

Ho riscontrato i seguenti problemi dopo aver usato homebrew per installare hadoop. Ho seguito la guida qui:Perché Hadoop 2.3 homebrew non funziona con i Maverick OSX?

http://glebche.appspot.com/static/hadoop-ecosystem/hadoop-hive-tutorial.html

Impostazione delle seguenti variabili d'ambiente in bashrc:

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.7.0_55.jdk/Contents/Home 
export HADOOP_INSTALL=/usr/local/Cellar/hadoop/2.3.0 
export HADOOP_HOME=$HADOOP_INSTALL 
export PATH=$PATH:$HADOOP_INSTALL/bin 
export PATH=$PATH:$HADOOP_INSTALL/sbin 
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL 
export HADOOP_COMMON_HOME=$HADOOP_INSTALL 
export HADOOP_HDFS_HOME=$HADOOP_INSTALL 
export YARN_HOME=$HADOOP_INSTALL 

Dopo l'esecuzione di un -format Hadoop NameNode .. tento di fare funzionare start-dfs.sh e ottenere il seguente:

14/05/05 21:19:27 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
Starting namenodes on [localhost] 
localhost: set hadoop variables 
localhost: starting namenode, logging to /usr/local/Cellar/hadoop/2.3.0/libexec/logs/mynotebook.local.out 
localhost: Error: Could not find or load main class org.apache.hadoop.hdfs.server.namenode.NameNode 
localhost: set hadoop variables 
localhost: starting datanode, logging to /usr/local/Cellar/hadoop/2.3.0/libexec/logs/mynotebook.local.out 
localhost: Error: Could not find or load main class org.apache.hadoop.hdfs.server.datanode.DataNode 
Starting secondary namenodes [0.0.0.0] 
0.0.0.0: set hadoop variables 
0.0.0.0: secondarynamenode running as process 12747. Stop it first. 
14/05/05 21:19:37 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 

Come ottengo intorno a questo problema?

risposta

2

Sulla base della prima riga del secondo messaggio,

"14/05/05 21:19:27 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable"

Suppongo che si sta eseguendo Hadoop in un sistema operativo a 64 bit. Hadoop è costruito di default in un sistema a 32 bit, ho avuto lo stesso problema e lo stesso messaggio. Quello che devi fare è ricostruire hadoop dal sorgente sul tuo sistema.

suggerisco di utilizzare sotto la guida, è per la versione 2.2 ma è ok per il 2,3 versione troppo

http://csrdu.org/nauman/2014/01/23/geting-started-with-hadoop-2-2-0-building/

o la guida ufficiale

http://hadoop.apache.org/docs/r2.3.0/hadoop-project-dist/hadoop-common/NativeLibraries.html#Build

Problemi correlati