errore all'avvio della shell scintilla

Ho appena scaricato l'ultima versione di scintilla e quando ho iniziato il guscio scintilla ho ottenuto il seguente errore:errore all'avvio della shell scintilla

java.net.BindException: Failed to bind to: /192.168.1.254:0: Service 'sparkDriver' failed after 16 retries! 
    at org.jboss.netty.bootstrap.ServerBootstrap.bind(ServerBootstrap.java:272) 
    at akka.remote.transport.netty.NettyTransport$$anonfun$listen$1.apply(NettyTransport.scala:393) 
    at akka.remote.transport.netty.NettyTransport$$anonfun$listen$1.apply(NettyTransport.scala:389) 

... 
... 

java.lang.NullPointerException 
    at org.apache.spark.sql.SQLContext.<init>(SQLContext.scala:193) 
    at org.apache.spark.sql.hive.HiveContext.<init>(HiveContext.scala:71) 
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) 
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57) 
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) 
    at java.lang.reflect.Constructor.newInstance(Constructor.java:525) 
    at org.apache.spark.repl.SparkILoop.createSQLContext(SparkILoop.scala:1028) 
    at $iwC$$iwC.<init>(<console>:9) 
... 
... 
<console>:10: error: not found: value sqlContext 
     import sqlContext.implicits._ 
      ^
<console>:10: error: not found: value sqlContext 
     import sqlContext.sql 
      ^

C'è qualcosa che ho perso nella creazione di scintilla?

fonte

2015-07-05 JRR

Eseguendo "spark-shell", crea la directory \ tmp \ hive in C :, ha lo stesso problema \ errore e si è verificato un problema con le autorizzazioni per tale cartella. Semplicemente spostato sotto% HADOOP_HOME% \ bin e riavvia il cmd come amministratore. Ha funzionato come un vero e proprio fascino per me dopo aver superato qualsiasi possibile correzione consigliata allo stack overflow. – paranza

Vedere SPARK-8162.

Sembra che abbia effetto solo su 1.4.1 e 1.5.0 - probabilmente è meglio eseguire l'ultima versione (1.4.0 al momento della scrittura).

fonte

2015-07-06 16:36:46 dpeacock

Ho provato le versioni precablate di 1.4.0, 1.3.1 e 1.3.0 e hanno tutte lo stesso errore. Sto usando Java 7 su osx. – JRR

Provare a impostare la variabile ENV Spark SPARK_LOCAL_IP su un indirizzo IP locale.

Nel mio caso, stavo eseguendo Spark su un'istanza Amazon EC2 Linux. spark-shell ha smesso di funzionare, con un messaggio di errore simile al tuo. Sono stato in grado di risolverlo aggiungendo un'impostazione simile alla seguente nel file di configurazione Spark spark-env.conf.

export SPARK_LOCAL_IP=172.30.43.105

potrebbe anche metterlo in ~/.profile o ~/.bashrc.

controllare anche le impostazioni ospitanti in /etc/hosts

fonte

2015-08-04 06:01:06 rake

stavo sperimentando lo stesso problema. Prima avuto modo di .bashrc e mettere

export SPARK_LOCAL_IP=172.30.43.105

poi vai

cd $HADOOP_HOME/bin

quindi eseguire il seguente comando

hdfs dfsadmin -safemode leave

Questo solo accende il safemode di NameNode off.

Quindi eliminare la cartella metastore_db dalla cartella home spark o/bin. In genere si troverà in una cartella da cui generalmente si avvia una sessione scintilla.

poi ho incontrato il mio scintilla scocca utilizzando questo

spark-shell --master "spark://localhost:7077"

e voilà ho didnot ottenere l'errore sqlContext.implicits._.

fonte

2016-04-09 18:54:03

errore all'avvio della shell scintilla

risposta

Problemi correlati