E 'possibile memorizzare nella cache un frame di dati e quindi fare riferimento (query) in un altro script ... Il mio obiettivo è la seguente:?come memorizzare nella cache un frame di dati di accensione e di riferimento in un altro script
non è possibile utilizzando i binari Spark standard. Spark DataFrame è associato allo specifico SQLContext che è stato utilizzato per crearlo e non è accessibile al di fuori di esso.
Esistono strumenti, come ad esempio Apache Zeppelin o Databricks, che utilizzano il contesto condiviso iniettato in sessioni diverse. In questo modo puoi condividere tabelle temporanee tra diverse sessioni e o lingue guest.
Esistono altre piattaforme, tra cui spark-jobserver e Apache Ignite, che forniscono modi alternativi per condividere strutture di dati distribuiti. Puoi anche dare un'occhiata allo Livy server.
Consulta anche: Share SparkContext between Java and R Apps under the same Master
Si potrebbe anche persistere i dati effettivi in un file/database e caricarlo di nuovo. Spark fornisce metodi per farlo in modo che non sia necessario raccogliere i dati sul driver.