Errore SparkR in sparkR.init (master = "local") in RStudio

Question

Ho installato il pacchetto SparkR dalla distribuzione Spark nella libreria R. Posso chiamare il seguente comando e sembra funzionare correttamente: library(SparkR)

Tuttavia, quando cerco di ottenere il contesto Spark utilizzando il seguente codice,

sc <- sparkR.init(master="local") 

Non riesce dopo qualche tempo con il seguente messaggio:

Error in sparkR.init(master = "local") : 
    JVM is not ready after 10 seconds 

ho impostato JAVA_HOME, e ho una RStudio lavoro dove posso accedere ad altri pacchetti come ggplot2. Non so perché non funzioni, e non so nemmeno dove indagare sul problema.

Answer 1

Ho avuto lo stesso problema e il mio file spark-submit.cmd non era in esecuzione dalla riga di comando. I seguenti passaggi hanno funzionato per me

Passare alle variabili di ambiente e nelle variabili di sistema selezionare nome variabile PATH. Insieme ad altri valori aggiungere c:/Windows/System32/ separati da un punto e virgola. Ciò ha reso il mio spark-submit.cmd eseguito da riga di comando e infine da Rstudio.

Mi sono reso conto che si ottiene il problema sopra riportato solo se non sono specificati tutti i valori di percorso richiesti. Assicurarsi che tutti i valori del percorso (R, Rtools) siano specificati nelle variabili di ambiente. Per esempio il mio percorso Rtools era c:\Rtools\bin;c:\Rtools\gcc-4.6.3\bin

Spero che questo aiuti.

Answer 2

Provare a fornire le autorizzazioni di esecuzione C: /sparkpath/bin/spark-submit.cmd. Questo ha funzionato per me.

Answer 3

Ho ottenuto esattamente lo stesso messaggio di errore. Il mio caso è un po 'diverso, visto che in precedenza ho eseguito SparkR in RStudio con successo. Ma dopo pochi giorni, non funziona più.

Osservando la conversione tra Shivaram Venkataraman e Prakash Ponshankaarchinnusamy, ho capito che questo potrebbe avere qualcosa a che fare con il permesso di esecuzione.

https://issues.apache.org/jira/browse/SPARK-8603

Quindi quello che ho fatto, che alla fine funziona, è che, io decomprimere il tar.gz scintilla per la mia C: nuovo/cartella (in precedenza si è tenuto in D:/auto) e SparkR funziona! !!

screenshot of working RStudio

Answer 4

Dopo l'installazione di Hadoop seguito da Spark.

spark_path <- strsplit(system("brew info apache-spark",intern=T)[4],' ')[[1]][1] # Get your spark path .libPaths(c(file.path(spark_path,"libexec", "R", "lib"), .libPaths())) library(SparkR