Errore nell'avvio di hadoop Job Tracker

Ho provato a eseguire un semplice programma in hadoop utilizzando Windows-Cygwin.Errore nell'avvio di hadoop Job Tracker

Sono in grado di avviare il namenode.

Il JobTracker inizio però non riesce con un'eccezione:

FATAL mapred.JobTracker: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: local 
     at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:162) 
     at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:128) 
     at org.apache.hadoop.mapred.JobTracker.getAddress(JobTracker.java:2560) 
     at org.apache.hadoop.mapred.JobTracker.<init>(JobTracker.java:2200) 
     at org.apache.hadoop.mapred.JobTracker.<init>(JobTracker.java:2192) 
     at org.apache.hadoop.mapred.JobTracker.<init>(JobTracker.java:2186) 
     at org.apache.hadoop.mapred.JobTracker.startTracker(JobTracker.java:300) 
     at org.apache.hadoop.mapred.JobTracker.startTracker(JobTracker.java:291) 
     at org.apache.hadoop.mapred.JobTracker.main(JobTracker.java:4978)

Ho provato tutti i metodi possibili per risolvere questo problema, ma invano. Qualsiasi suggerimento mi aiuterà molto.

configurazioni HDFS-site.xml:

<configuration><br> 
    <property> 
    <name>fs.default.name< /name> 
    <value>hdfs://localhost:9100</value> 
    </property> 
    <property> 
    <name>mapred.job.tracker< /name> 
    <value>localhost:9101< /value> 
    </property> 
    <property> 
    <name>dfs.replication< /name> 
    <value>1</value> 
    </property> 
</configuration>

fonte

2012-04-08 stackuser

Il problema è le seguenti linee dovrebbe sulla in mapred-site.xml e NOT HDFS-site.xml,

<property> 
<name>mapred.job.tracker</name> 
<value>localhost:9101</value> 
</property>

A proposito, perché stai cercando di eseguire Hadoop in Windows? Per lo sviluppo? Non hai una macchina Linux o riluttante ad installarne una?

Una cosa di più, è solito mettere questa struttura nel core-site.xml non HDFS-site.xml,

<property> 
<name>fs.default.name</name> 
<value>hdfs://localhost:9100</value> 
</property>

fonte

2012-04-08 05:06:13

Perché è irragionevole vuole correre Hadoop su Windows, diversi da quelli in tal modo si corre contro il continuo vista paraocchi della comunità Hadoop del mondo che suggerisce c'è solo un sistema operativo accettabile? –

Normalmente le persone Hadoop pensano che Windows sia un videogioco per bambini. Nessuna cosa seria. Penso che quando si stancano del lavoro, usano la carta da parati di Windows. –

Dato che potrebbe essere possibile eseguire Hadoop su Windows, il codice è stato sviluppato interamente nell'ambiente Linux e in quanto tale eseguendolo su Windows si introdurranno variabili non previste che porteranno a ulteriori complicazioni di qualcosa che è già molto complicato. Hadoop esegue molte operazioni sui file e, sebbene Java possa essere eseguito su Windows, non tutte le operazioni native funzionano in modo analogo, in particolare le operazioni sui file system. Che funziona su Windows è qualcosa di un miracolo. La domanda non è perché vorresti eseguirlo su Windows, è per questo che vorresti la miseria delle incognite. – AaronM

Ho affrontato lo stesso problema quando si lavora sul "Pseudo distribuiti" esempi come questo pagina: http://hadoop.apache.org/docs/r1.1.2/single_node_setup.html#PseudoDistributed

Si è scoperto che hadoop semplicemente non stava raccogliendo i miei file conf. Gli esempi nel link precedente presuppongono che tu stia eseguendo l'installazione di hadoop (ad esempio /Usr/jane/hadoop-1.1.2). Stavo cercando di eseguire gli esempi in un'altra directory. Sono sicuro che potresti configurare hadoop per riconoscere altre directory "conf", ma ho preso la strada facile e ho iniziato a correre nella mia directory di hadoop.

Questo thread mi ha aiutato a capirlo: https://issues.apache.org/jira/browse/HDFS-2515

fonte

2013-03-12 00:07:19 fahrradler

Btw, ho trovato questa pagina un utile corollario alla pagina di configurazione di hadoop: http://www.javacodegeeks.com/2012/01/hadoop-modes-explained-standalone.html Questa pagina mostra praticamente gli stessi esempi ma con informazioni aggiuntive sull'output atteso. – fahrradler

Errore nell'avvio di hadoop Job Tracker

risposta

Problemi correlati