Impossibile inizializzare il cluster. Si prega di verificare la configurazione per mapreduce.framework.name e gli indirizzi corrispondenti server-invio job2remoteClustr

Question

Recentemente ho aggiornato il mio cluster da Apache Hadoop1.0 a CDH4.4.0. Ho un server weblogic su un'altra macchina da dove invio lavori a questo cluster remoto tramite client mapreduce. Voglio ancora usare MR1 e non Yarn. Ho compilato il mio codice cliente con i jar del client nell'installazione CDH (/ usr/lib/hadoop/client/*)

È possibile ottenere l'errore seguente durante la creazione di un'istanza di JobClient. Ci sono molti post relativi allo stesso problema ma tutte le soluzioni si riferiscono allo scenario di invio del lavoro a un cluster locale e non a remote e nello specifico nel mio caso da un contenitore wls.

JobClient jc = new JobClient(conf);

Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.

Ma in esecuzione dal prompt dei comandi sul cluster funziona perfettamente bene.

Apprezzo il tuo aiuto tempestivo!

Answer 1

È probabile che la tua app guardi i tuoi vecchi file di configurazione Hadoop 1.x. Forse la tua app hard-codifica qualche configurazione? Questo errore tende a indicare che stai usando le nuove librerie client ma che non vedono la configurazione di nuovo stile.

Deve esistere poiché gli strumenti della riga di comando li vedono bene. Controlla le tue variabili env HADOOP_HOME o HADOOP_CONF_DIR anche se questo è quello che gli strumenti della riga di comando tendono a raccogliere e funzionano.

Nota che è necessario installare il servizio "mapreduce" e non "filato" in CDH 4.4 per renderlo compatibile con i client MR1. Vedi anche i manufatti '...- mr1 -...' in Maven.

Answer 2

Nel mio caso, questo errore era dovuto alla versione dei vasi, assicurarsi di utilizzare la stessa versione del server.

Answer 3

export HADOOP_MAPRED_HOME =/Cloudera/pacchetti/CDH-4.1.3-1.cdh4.1.3.p0.23/lib/Hadoop-0.20-MapReduce

Answer 4

ho avuto un errore simile e ha aggiunto le seguenti vasi per classpath e ha funzionato per me: hadoop-mapreduce-client-jobclient-2.2.0.2.0.6.0-76:hadoop-mapreduce-client-shuffle-2.3.0.jar:hadoop-mapreduce-client-common-2.3.0.jar

Answer 5

ho il mio caso stavo correndo Sqoop 1.4.5 e puntare alla più recente Hadoop 2.0.0-cdh4.4.0 che aveva la roba filo thats anche il motivo per cui si lamentava.

Quando ho indicato sqoop a hadoop-0.20/2.0.0-cdh4.4.0 (MR1 penso) ha funzionato.

Answer 6

Nel mio caso, stranamente questo errore era dovuto al fatto che nel mio file "core-site.xml", ho menzionato "indirizzo IP" anziché "hostname". Nel momento in cui ho menzionato "hostname" al posto dell'indirizzo IP e nei file "core-site.xml" e "mapred.xml" e reinstallato mapreduce lib, l'errore è stato risolto.