.sparkstaging in hdfs non viene eliminata

Question

Stiamo eseguendo alcuni lavori spark e vediamo la regia di .sparkstaging in hdf che persiste dopo il completamento del lavoro. C'è qualche parametro che dobbiamo impostare per eliminare la directory di staging dopo il completamento del lavoro?

spark.yarn.preserve.staging.files è falso per impostazione predefinita e, pertanto, non è stato impostato in modo esplicito. ci sono in esecuzione scintilla sul filo utilizzando Hortonworks e la versione scintilla 1.2

saluti, Manju

Answer 1

Si prega di verificare i seguenti eventi del registro nel output della console di completamento lavoro per ottenere ulteriori delucidazioni in quello che sta succedendo:

1. ApplicationMaster: Deleting staging directory .sparkStaging/application_xxxxxx_xxxx - questo significa che l'applicazione è stata in grado di pulire con successo la directory di gestione temporanea
2. ApplicationMaster: Staging directory is null - questo significa che l'applicazione non è stato quello di riuscire a trovare la dir messa in scena per th è l'applicazione
3. ApplicationMaster: Failed to cleanup staging dir .sparkStaging/application_xxxxxx_xxxx - questo significa qualcosa è andato storto cancellando la directory di gestione temporanea

potrebbe anche raddoppiare controllare queste proprietà del cluster che possono influenzare lo scenario che hai citato: spark.yarn.preserve.staging.files e questo SPARK_YARN_STAGING_DIR.