È consentito il multithreading su Spark/YARN?

Poiché YARN è responsabile della gestione delle risorse delle applicazioni Hadoop, come core e processi, un'applicazione di YARN è autorizzata a creare nuovi thread?È consentito il multithreading su Spark/YARN?

Mi riferisco principalmente alle applicazioni Spark in esecuzione sul gestore risorse YARN. So che se crei una nuova discussione non vengono lanciati errori, ma è sicuro?

fonte

2014-12-26 Nicola Ferraro

Cosa intendi per creare nuovi thread? Credo che Spark supporti la corsa su YARN e abbia anche opzioni come num-worker. – softwarenewbie7331

Intendo creare "new Thread()" ed eseguire codice personalizzato su un singolo worker. Non mi interessa se sia una buona pratica o no. –

Rispondo a me stesso. YARN controlla risorse come memoria e core, non thread. I core sono controllati modificando i parametri specifici del sistema operativo durante la creazione di contenitori (affinità di processo). Quindi, la JVM è in esecuzione utilizzando un numero specifico di core e puoi creare tutti i thread che vuoi.

fonte

2014-12-31 23:59:49

È consentito il multithreading su Spark/YARN?

risposta

Problemi correlati