Hadoop su OSX "Impossibile caricare le informazioni reame da SCDynamicStore"

Question

sto ottenendo questo errore all'avvio di Hadoop su OSX 10.7:

Impossibile caricare le informazioni reame da SCDynamicStore put: org.apache.hadoop. hdfs.server.namenode.SafeModeException: impossibile creare directory/utente/travis/input/conf. Il nodo del nome è in modalità provvisoria.

Non sembra causare problemi con la funzionalità di Hadoop.

Answer 1

Il suggerimento di Matthew Buckett in HADOOP-7489 ha funzionato per me. Aggiungere il seguente al file hadoop-env.sh:

export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk" 

Answer 2

FYI, è possibile semplificare questo ulteriore specificando solo le seguenti:

export HADOOP_OPTS="-Djava.security.krb5.realm= -Djava.security.krb5.kdc=" 

Questo è menzionato nel HADOOP-7489 pure.

Answer 3

e anche aggiungere

YARN_OPTS="$YARN_OPTS -Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

prima di eseguire start-yarn.sh (o start-all.sh) su cdh4.1.3

Answer 4

ho avuto questo errore durante il debug MapReduce da Eclipse, ma era un'aringa rossa. Il vero problema era che avrei dovuto essere il debug remoto con l'aggiunta di parametri di debug per le JAVA_OPTS

-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=1044 

e quindi la creazione di un nuovo profilo "Remote Application Java" nella configurazione di debug che puntava alla porta 1044.

This article ha alcune informazioni più approfondite sul lato del debug delle cose. Sta parlando di Solr, ma funziona allo stesso modo con Hadoop. Se hai problemi, metti un messaggio qui sotto e cercherò di aiutarti.

Answer 5

Sto avendo lo stesso problema su OS X 10.8.2, versione Java 1.7.0_21. Purtroppo, la soluzione di cui sopra non risolve il problema con questa versione :(

Edit: ho trovato la soluzione a questo, sulla base di un suggerimento che ho visto here Nel file hadoop-env.sh, modificare l'impostazione JAVA_HOME a:.

export JAVA_HOME=`/usr/libexec/java_home -v 1.6` 

(Notare le virgolette gravi qui.)

Answer 6

come un aggiornamento a questo (e per affrontare David Williams punto 'su Java 1.7), ho sperimentato che solo l'impostazione della prope .realm e .kdc anni era insufficiente a fermare il messaggio offensivo.

Tuttavia, esaminando il source file che sta omettendo il messaggio io ero in grado di determinare che l'impostazione della proprietà .krb5.conf a /dev/null è stato sufficiente per eliminare il messaggio. Ovviamente se si dispone effettivamente di una configurazione krb5, è meglio specificare il percorso effettivo.

In totale, il mio hadoop-env.sh frammento è la seguente:

HADOOP_OPTS="${HADOOP_OPTS} -Djava.security.krb5.realm= -Djava.security.krb5.kdc=" 
HADOOP_OPTS="${HADOOP_OPTS} -Djava.security.krb5.conf=/dev/null" 

Answer 7

Ho avuto simile problema su MacOS e dopo aver provato diverse combinazioni questo è quello che ha funzionato per me universalmente (sia Hadoop 1.2 e 2.2):

in $HADOOP_HOME/conf/hadoop-env.sh impostare le seguenti linee:

# Set Hadoop-specific environment variables here. 
export HADOOP_OPTS="-Djava.security.krb5.realm= -Djava.security.krb5.kdc=" 

# The java implementation to use. 
export JAVA_HOME=`/usr/libexec/java_home -v 1.6` 

Spero che questo vi aiuterà