6
sto installando Spark 0.9 su AWS e sto trovando che quando si avvia la shell Pyspark interattivo,/lavoratori remoti vengono prima di essere registrati i miei esecutori:Spark - Remote Akka client dissociato
14/07/08 22:48:05 INFO cluster.SparkDeploySchedulerBackend: Registered executor:
Actor[akka.tcp://[email protected]:54110/user/
Executor#-862786598] with ID 0
e poi dissociato quasi subito , prima che io abbia la possibilità di eseguire qualsiasi cosa:
14/07/08 22:48:05 INFO cluster.SparkDeploySchedulerBackend: Executor 0 disconnected,
so removing it
14/07/08 22:48:05 ERROR scheduler.TaskSchedulerImpl: Lost an executor 0 (already
removed): remote Akka client disassociated
Qualche idea di cosa potrebbe essere sbagliato? Ho provato a regolare le opzioni JVM spark.akka.frameSize e spark.akka.timeout, ma sono abbastanza sicuro che questo non è il problema dato che (1) non sto eseguendo nulla per cominciare, e (2) il mio gli esecutori si disconnettono pochi secondi dopo l'avvio, il che è ben compreso nel timeout predefinito di 100 secondi.
Grazie!
Jack
Dove si avvia la shell? Prova ad avviarlo sul nodo principale all'interno di AWS, per assicurarti che non si tratti di un problema di installazione di rete. Prova anche 'bin/spark-shell' per eliminare Python come causa. –
Sto già facendo il primo, e la shell di Scala restituisce lo stesso errore. – Jack
C'è forse un indizio nei registri worker o executor? O su 'http: //: 4040/executors /'? (Sì, in fondo non ne ho idea. Mi dispiace!) –