Come trovare la directory di installazione di Spark?

Desidero modificare spark-env.sh. Come posso trovare la directory di installazione in Ubuntu ??Come trovare la directory di installazione di Spark?

Ho cercato nell'interfaccia utente ma non ho trovato nulla.

whereis spark

risultato: spark:

Ecco il registro per individuare il comando individuare scintilla

/home/sys6002/.netbeans/8.0.2/apache-tomcat-8.0.15.0_base/temp/spark-ba1ea995-b959-43f4-ab6c-7d9f1ee5fcc1/blockmgr-db3a931b-7f1a-423e-b5da-b75a958a1909/11 
/home/sys6002/.netbeans/8.0.2/apache-tomcat-8.0.15.0_base/temp/spark-ba1ea995-b959-43f4-ab6c-7d9f1ee5fcc1/blockmgr-db3a931b-7f1a-423e-b5da-b75a958a1909/13 
/home/sys6002/.netbeans/8.0.2/apache-tomcat-8.0.15.0_base/temp/spark-ba1ea995-b959-43f4-ab6c-7d9f1ee5fcc1/httpd-16b4313e-72dc-4665-b4ac-df491869386d/files 
/home/sys6002/.netbeans/8.0.2/apache-tomcat-8.0.15.0_base/temp/spark-ba1ea995-b959-43f4-ab6c-7d9f1ee5fcc1/httpd-16b4313e-72dc-4665-b4ac-df491869386d/jars 
/home/sys6002/Desktop/diff spark hadoop.png 
/home/sys6002/Desktop/sparkmain 
/home/sys6002/Downloads/learning-spark-master.zip 
/home/sys6002/Downloads/mongo-spark-master 
/home/sys6002/Downloads/spark-1.5.1 
/home/sys6002/Downloads/spark-1.5.1-bin-hadoop2.6 
/home/sys6002/Downloads/spark-1.5.1-bin-hadoop2.6 (2) 
/home/sys6002/Downloads/spark-1.5.1-bin-hadoop2.6.tgz 
/home/sys6002/Downloads/spark-1.5.1-bin-without-hadoop 
/home/sys6002/Downloads/spark-cassandra-connector-master 
/home/sys6002/Downloads/spark-core_2.9.3-0.8.0-incubati 
home/sys6002/anaconda3/pkgs/odo-0.3.2-np19py34_0/lib/python3.4/site-packages/odo/backends/tests/__pycache__/test_sparksql.cpython-34.pyc 
/home/sys6002/spark-example/a.txt 
/home/sys6002/spark-example/a.txt~ 
/home/sys6002/spark-example/pom.xml 
/home/sys6002/spark-example/pom.xml~ 
/home/sys6002/spark-example/src 
/home/sys6002/spark-example/src/main 
/home/sys6002/spark-example/src/test 
/home/sys6002/spark-example/src/main/java 
/home/sys6002/spark-example/src/main/java/com 
/home/sys6002/spark-example/src/main/java/com/geekcap 
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld 
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld/App.java 
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld/WordCount.java~ 
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld/sparkexample 
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld/sparkexample/WordCount.java 
/home/sys6002/spark-example/src/main/java/com/geekcap/javaworld/sparkexample/WordCount.java~ 

/home/sys6002/spark-example/src/test/java/com/geekcap/javaworld/AppTest.java 
/usr/share/app-install/desktop/lightspark:lightspark.desktop 
/usr/share/app-install/desktop/sparkleshare:sparkleshare-invite-opener.desktop 
/usr/share/app-install/desktop/sparkleshare:sparkleshare.desktop

fonte

2015-11-19 Anil

Avete /etc/spark/conf/spark-env.sh? – HRgiger

@HRgiger, no .... – Anil

Anil anziché cercare il file specifico di ricerca spark, qualcosa come spark-env.sh – HRgiger

È possibile provare questi due comandi:

locate spark
whereis spark

individuare - Per ogni dato modello, individuare le ricerche di una o più basi di dati di nomi di file e visualizza i nomi di file che contengono il modello. I pattern possono contenere metacaratteri stile shell: '', '?' E '[]'. I metacaratteri non considerano "/" o "." appositamente. Pertanto, un modello "foo bar" può corrispondere a un nome file che contiene "foo3/bar" e un modello "anatra" può corrispondere a un nome file che contiene "lago/.ducky". I pattern che contengono metacaratteri devono essere citati per proteggerli da dall'espansione dalla shell.

whereis individua le sezioni source/binary e manuals per i file specificati . I nomi forniti vengono prima eliminati dei componenti di percorso iniziali e di qualsiasi estensione (singola) finale del modulo .ext, per esempio , .c. Prefissi di s. derivano dall'uso del controllo del codice sorgente . whereis tenta quindi di individuare il programma desiderato in un elenco di posizioni Linux standard.

fonte

2015-11-19 14:28:51

tutti i risultati del comando locate sono diretti alla mia directory Downloads. Quale non è quello che sto cercando – Anil

Puoi fornire un output? –

'whereis spark' result:' spark: ' – Anil

Perché hai bisogno della directory home di Spark? Non è necessario avere un'installazione locale di Spark per eseguire le applicazioni Spark. È necessario avere un'installazione locale del pacchetto Spark per avere Spark Standalone o per distribuirlo su cluster YARN o Mesos, ma non sembra essere il tuo caso.

Hai bisogno di barattoli e le impostazioni Spark faranno il resto.

È possibile visualizzare l'interfaccia utente Web poiché è attiva per impostazione predefinita quando si crea un'istanza SparkContext.

Nel complesso, Spark si trova nel progetto che si sta sviluppando come un mucchio di barattoli e all'avvio dell'applicazione Spark crea uno SparkContext che a seconda dell'URL principale si collegherà all'ambiente di runtime.

Le variabili di ambiente in spark-env.sh possono essere impostate facilmente utilizzando SparkContext.

fonte

2015-11-20 11:07:55

Grazie per la risposta. Ma senza una directory locale come posso configurare la memoria e altre opzioni in 'spark-env.sh' ?? – Anil

È necessario solo l'oggetto 'SparkContext'. Tutto ciò che fai in 'spark-env.sh' si traduce in SparkContext e ha le traduzioni da env var a setting. Cosa vuoi impostare? Nel frattempo, ho aggiunto alcuni (si spera) contenuti utili alla risposta. –

Sono d'accordo che posso impostare quindi l'oggetto. E posso vederli nell'interfaccia utente. Ma il fatto è che la quantità di RAM utilizzata non viene influenzata in questo modo. – Anil

Grazie a Jacek, ho trovato che Spark non è installato nella mia macchina e stavo usando le scintille libararie nel mio progetto.

Per aggiungere altro, per eseguire l'applicazione spark nel progetto java, non è necessario necessariamente apache spark, scala e pyspark.

vasetti Compreso renderanno il vostro lavoro fatto

fonte

2015-11-21 06:26:42 Anil

Anche questo ha funzionato per me:

cd $SPARK_HOME

che vi porterà alla directory in cui è stato installato Spark, se è impostata la variabile ambiente.

fonte

2017-11-02 19:18:13 Maddenker

Come trovare la directory di installazione di Spark?

risposta

Problemi correlati