impossibile controllare i nodi su hadoop [Connessione rifiutata]

Question

Se si digita http://localhost:50070 o http://localhost:9000 per visualizzare i nodi, il mio browser non mi mostra nulla. Penso che non possa connettersi al server. ho provato il mio Hadoop con questo comando:

hadoop jar hadoop-*test*.jar TestDFSIO -write -nrFiles 10 -fileSize 1000 

ma troppo non ha funzionato e si tenta di connettersi al server, questo è l'output:

12/06/06 17:25:24 INFO mapred.FileInputFormat: nrFiles = 10 
12/06/06 17:25:24 INFO mapred.FileInputFormat: fileSize (MB) = 1000 
12/06/06 17:25:24 INFO mapred.FileInputFormat: bufferSize = 1000000 
12/06/06 17:25:25 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 0 time(s). 
12/06/06 17:25:26 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 1 time(s). 
12/06/06 17:25:27 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 2 time(s). 
12/06/06 17:25:28 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 3 time(s). 
12/06/06 17:25:29 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 4 time(s). 
12/06/06 17:25:30 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 5 time(s). 
12/06/06 17:25:31 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 6 time(s). 
12/06/06 17:25:32 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 7 time(s). 
12/06/06 17:25:33 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 8 time(s). 
12/06/06 17:25:34 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 9 time(s). 
java.net.ConnectException: Call to localhost/127.0.0.1:9000 failed on connection exception: java.net.ConnectException: Connection refused 

ho cambiato alcuni file in questo modo: in conf/core-site.xml:

<configuration> 
    <property> 
    <name>fs.default.name</name> 
    <value>hdfs://localhost:9000</value> 
    </property> 

in conf/HDFS-site.xml:

<configuration> 
    <property> 
    <name>dfs.replication</name> 
    <value>1</value> 
    </property> 
</configuration> 
</configuration> 

in conf/mapred-site.xml:

<configuration> 
    <property> 
    <name>mapred.job.tracker</name> 
    <value>localhost:9001</value> 
    </property> 
</configuration> 

Hey thnks ragazzi per la vostra attenzione, Se corro questo comando

cat /etc/hosts 

vedo:

127.0.0.1 localhost 
127.0.1.1 ubuntu.ubuntu-domain ubuntu 

# The following lines are desirable for IPv6 capable hosts 
::1  ip6-localhost ip6-loopback 
fe00::0 ip6-localnet 
ff00::0 ip6-mcastprefix 
ff02::1 ip6-allnodes 
ff02::2 ip6-allrouters 

e se eseguo questo:

ps axww | grep hadoop 

vedo questo risultato:

2170 pts/0 S+  0:00 grep --color=auto hadoop 

ma nessun effetto Avete qualche Idee, Come posso risolvere il mio problema?

Answer 1

Ci sono alcune cose di cui bisogna aver cura prima di iniziare i servizi hadoop.

Verifica a quanto restituisce:

hostname --fqdn 

Nel tuo caso questo dovrebbe essere localhost. Commenta anche IPV6 in/etc/hosts.

Si è formattato il namenode prima di avviare HDFS.

hadoop namenode -format 

Come è stato installato Hadoop. La posizione dei file di registro dipenderà da questo. Di solito è in posizione "/ var/log/hadoop /" se hai usato la distribuzione di cloudera.

Se sei un principiante, ti suggerisco di installare Hadoop usando Cloudera SCM che è abbastanza facile. Ho pubblicato my approach in installing Hadoop con la distribuzione di Cloudera.

anche

Assicurarsi posizione DFS ha un permesso di scrittura. Solitamente si trova @/usr/local/hadoop_store/hdfs

Questa è una ragione comune.

Answer 2

Suppongo che sia la prima installazione di hadoop.

All'inizio controllare se i demoni stanno funzionando. Per fare questo uso (nel terminale):

jps 

Se appare solo jps, significa che tutti i demoni sono giù. Si prega di controllare i file di registro. Soprattutto il namenode. La cartella di registro è probabilmente da qualche parte lì/usr/lib/hadoop/logs

Se si dispone di alcuni problemi di autorizzazione. Utilizzare questa guida durante l'installazione.

Good installation guide

Sono le riprese con questo spiegazioni ma questi sono problemi più comuni.

Answer 3

modifica anche il file/etc/hosts e cambia 127.0.1.1 in 127.0.0.1 ... la corretta risoluzione dns è molto importante per hadoop e anche un po 'complicato..also aggiungi la seguente proprietà nel tuo core-site.xml File -

<property> 
     <name>hadoop.tmp.dir</name> 
     <value>/path_to_temp_directory</value> 
    </property> 

il percorso predefinito per questa proprietà è/tmp che vengono svuotata dopo ogni sistema restart..so perdi tutte le tue informazioni ad ogni restart..also aggiungere queste proprietà nei tuoi HDFS-site.xml file -

<property> 
     <name>dfs.name.dir</name> 
     <value>/path_to_name_directory</value> 
    </property> 

    <property> 
     <name>dfs.data.dir</name> 
     <value>/path_to_data_directory</value> 
    </property> 

Answer 4

stesso problema e questo ha risolto il mio problema:

problema si trova con il permesso dato alle cartelle "chmod" 755 o superiore per le cartelle /home/nomeutente/Hadoop/*

Answer 5

Un'altra possibilità è la NameNode non è in esecuzione.

È possibile rimuovere i file HDFS:

rm -rf /tmp/hadoop* 

riformattare il HDFS

bin/hadoop namenode -format 

E riavviare i servizi Hadoop

bin/hadoop/start-all.sh (Hadoop 1.x) 

o

sbin/hadoop/start-all.sh (Hadoop 2.x) 

Answer 6

Ciao Modifica il tuo core conf/core-site.xml e cambia localhost in 0.0.0.0. Usa il conf qui sotto. Questo dovrebbe funzionare

<configuration> 
    <property> 
    <name>fs.default.name</name> 
    <value>hdfs://0.0.0.0:9000</value> 
    </property>