Zeppelin - Impossibile interrogare con% sql una tabella Mi sono registrato con pyspark

Question

Sono nuovo di spark/zeppelin e volevo completare un semplice esercizio, dove trasformerò un file csv da panda a Spark data frame e quindi registrerò la tabella interrogarlo con sql e visualizzarlo usando Zeppelin.

Ma mi sembra di non riuscire nell'ultimo passaggio.

Sto usando Spark 1.6.1

Ecco il mio codice:

%pyspark 
spark_clean_df.registerTempTable("table1") 
print spark_clean_df.dtypes 
print sqlContext.sql("select count(*) from table1").collect() 

Ecco l'output:

[('id', 'bigint'), ('name', 'string'), ('host_id', 'bigint'), ('host_name', 'string'), ('neighbourhood', 'string'), ('latitude', 'double'), ('longitude', 'double'), ('room_type', 'string'), ('price', 'bigint'), ('minimum_nights', 'bigint'), ('number_of_reviews', 'bigint'), ('last_review', 'string'), ('reviews_per_month', 'double'), ('calculated_host_listings_count', 'bigint'), ('availability_365', 'bigint')] 
[Row(_c0=4961)] 

Ma quando provo ad usare% SQL ottengo questo error:

%sql 
select * from table1 

Table not found: table1; line 1 pos 14 
set zeppelin.spark.sql.stacktrace = true to see full stacktrace 

Qualsiasi l'aiuto sarebbe apprezzato - non so nemmeno dove trovare questo stacktrace e come potrebbe aiutarmi.

Grazie :)

Answer 1

Zeppelin può creare contesti diversi per i diversi interpreti è possibile che se si eseguisse un codice con il% di accensione e del codice con gli interpreti% pyspark tua Zeppelin può avere due contesti. E quando usi% sql, sta cercando in un altro contesto non in% pyspark. Provare a riavviare Zeppelin ed eseguire il codice% pyspark come prima istruzione e poi% sql come secondo.

Se si passa alla scheda 'Interpreti' è possibile aggiungere zeppelin.spark.sql.stacktrace lì. E dopo il riavvio di Zeppelin vedrai la traccia dello stack completo in un punto in cui hai "Tabella non trovata" ora.

In realtà questo è probabilmente risposta alla tua domanda When registering a table using the %pyspark interpreter in Zeppelin, I can't access the table in %sql

cercare di fare

%pyspark 
    sqlContext = sqlc 

come prime due righe

Answer 2

sintassi corretta sarebbe:

sqlContext.registerDataFrameAsTable(spark_clean_df, 'table1') 
sqlContext.sql(select * from table1 where ...) 

Answer 3

anche correlato allo diversi contesti creati da scintilla controllare la seguente impostazione nell'interprete scintilla

zeppelin.spark.useHiveContext = false 

impostare l'impostazione su 'false'

Answer 4

Lei non ha detto quale gruppo interprete si stava utilizzando. Se è livy, non è possibile accedere alle tabelle registrate in %livy.pyspark da %livy.sql. Ho ricevuto questo da here:

for now %livy.sql can only access tables registered %livy.spark, but not %livy.pyspark and %livy.sparkr. 

Se si passa al gruppo spark interprete di serie dovrebbe funzionare. Posso confermarlo usando Spark 1.6.3 e Zeppelin 0.7.0. Speriamo che le persone che lavorano nell'interprete livy risolveranno questa restrizione ...