Come ho capito, le variabili di trasmissione vengono create una sola volta, ma vengono utilizzate molte volte. Quindi mi viene in mente che dovrei creare una variabile di trasmissione all'interno di una classe singleton, è una cattiva idea? Quali sono i pro e i contro dell'uso di una classe singleton per contenere la variabile di trasmissione?Quali sono i pro e i contro dell'uso di variabili di trasmissione in un singleton?
Penso variabili Broadcast meritano qualche spiegazione al fine di capire meglio come funziona questo meccanismo:
Una variabile Broadcast permette di mantenere un sola lettura cache variabile su ogni macchina, piuttosto che la spedizione di un copia di esso con compiti. Può essere usato, ad esempio, per dare ad ogni nodo una copia di un grande set di dati di input in modo efficiente.
È possibile controllare altri dettagli su: Spark Broadcast variables
Dopo aver creato una variabile trasmissione in Spark, si ottiene un involucro intorno v (accessibile chiamando broadcastVar.value()), in modo da utilizzare un Singleton sarà utilizzare un riferimento Singleton per la wrapper, piuttosto che il valore effettivo e così, il pattern singleton potrebbe avere un impatto molto minore in entrambi i casi.
È anche possibile utilizzare lo stesso riferimento wrapper durante l'intero ciclo di vita dell'esecuzione Spark.
Poiché si tratta di un riferimento a una variabile di sola lettura, tali opzioni presenteranno un comportamento simile.