Utilizzo di Spark Kernel su Jupyter

Question

Quindi sono appena agli inizi con Jupyter e l'idea dei notebook.

Di solito programma in VIM e terminale, quindi sto ancora cercando di capire qualcosa.

Sto cercando di utilizzare un kernel Toree.

Sto cercando di installare un kernel che sia in grado di eseguire la scintilla e che abbia incontrato Toree. Ho installato toree e appare quando eseguo la lista del kernel. Ecco il risultato:

$ jupyter kernelspec list Available kernels: python3 C:\Users\UserName\AppData\Local\Continuum\Anaconda3\lib\site-packages\ipykernel\resources bash C:\Users\UserName\AppData\Roaming\jupyter\kernels\bash toree C:\ProgramData\jupyter\kernels\toree

---

Così, quando ho aperto un notebook toree, il kernel muore e non si riavvia. Chiudendo il notebook e riaprendolo, il kernel cambia in Python3.

C'è un grande messaggio di errore che viene stampato sul terminale host e il messaggio di errore del notebook. C'è un altro post che è stato messo in attesa; sono gli stessi messaggi di errore.

ho seguito questa pagina per l'installazione: https://github.com/apache/incubator-toree

Queste istruzioni sono per lo più per Linux/Mac è visualizzata.

Qualche idea su come ottenere un quaderno delle scintille su Jupyter?

Capisco che non ci sono molte informazioni qui, se ne è necessario altro. Fammi sapere.

Answer 1

ho postato una domanda simile a Gitter e mi hanno risposto dicendo (parafrasato) che:

Toree è il futuro della programmazione scintilla sul Jupyter e apparirà di aver installato correttamente su una macchina Windows, ma il .jar e. i file sh non funzioneranno correttamente sulla macchina Windows.

Conoscendo questo, l'ho provato sul mio Linux (Fedora) e su un Mac preso in prestito. Una volta che è stata installata jupyter (e Anaconda) sono entrato questi comandi:

$ SparkHome="~/spark/spark1.5.5-bin.hadoop2.6" 
$ sudo pip install toree 
Password: ********** 
$ sudo jupyter toree install --spark_home=$SparkHome 

Jupyter correva il notebook toree su entrambe le macchine. Presumo che una VM possa funzionare altrettanto bene. Voglio vedere se la shell bash della finestra 10 funzionerà anche con questo come sto facendo funzionare Windows 7.

Grazie per gli altri documenti!

Answer 2

La risposta di @ user3025281 ha risolto il problema anche per me. Ho dovuto effettuare la seguente regolazione per il mio ambiente (una distro Linux Ubuntu 16.04 Linux con Spark 2.2.0 e Hadoop 2.7). I download sono download di file diretti dai siti di hosting o da un sito mirror.

Si configureranno principalmente le variabili di ambiente quindi si chiama jupyter, presupponendo che sia stato installato tramite anaconda. che è praticamente lo

SPARK_HOME="~/spark/spark-2.2.0-bin-hadoop2.7" 

Scrivi questo nel file ~/.bashrc e quindi chiamare sorgente sul `.bashrc

# reload environment variables 
source ~/.bashrc` 

Installare

sudo pip install toree 
sudo jupyter toree install --spark_home=$SPARK_HOME 

E adesso .... abbiamo Gucci

opzionale: In Windows 10, è possibile utilizzare "Bash su Ubuntu su Windows" per configurando jupyter su una distro linux