Come modificare le proprietà di SparkContext nella sessione Interactive PySpark

Question

Come posso cambiare spark.driver.maxResultSize nella shell interattiva di pyspark? Ho usato il seguente codice

from pyspark import SparkConf, SparkContext 
conf = (SparkConf() 
    .set("spark.driver.maxResultSize", "10g")) 
sc.stop() 
sc=SparkContext(conf) 

ma mi dà l'errore

AttributeError: 'SparkConf' object has no attribute '_get_object_id' 

Answer 1

Quindi, che cosa il vostro vedere è che la SparkConf non è un oggetto Java, questo sta accadendo perché la sua cercando di utilizzare il SparkConf come primo parametro, se invece si usa sc=SparkContext(conf=conf) si dovrebbe usare la configurazione. Detto questo, potrebbe essere preferibile avviare un normale programma python piuttosto che arrestare il contesto di scintilla predefinito & riavviarlo, ma sarà necessario utilizzare la tecnica dei parametri denominata per passare nell'oggetto conf in entrambi i casi.

Answer 2

Il modo corretto di modificare le impostazioni di scintilla in linea per un determinato contesto Spark richiede che il contesto sia chiuso. Per esempio:

from pyspark import SparkContext 
SparkContext.setSystemProperty('spark.driver.maxResultSize', '10g') 
sc = SparkContext("local", "App Name") 

fonte: https://spark.apache.org/docs/0.8.1/python-programming-guide.html

P.S. se avete bisogno di chiudere la SparkContext basta usare:

SparkContext.stop(sc) 

e di raddoppiare controllare le impostazioni attuali che sono stati impostati è possibile utilizzare:

sc._conf.getAll()