Determina automaticamente il numero di core e la quantità di memoria disponibile per Spark

Question

L'interfaccia utente Web Spark mostra alcune informazioni interessanti sulle risorse disponibili per il cluster nel suo complesso.

Sono specificamente interessati a valori di:

• Lavoratori
• Cores
• memoria

Come posso interrogare questi pezzi di informazioni sulla cluster globale a livello di codice?

Answer 1

Spark non espone questo tipo di informazioni, è tutto nascosto nel Master e trasferito a WebUI.

È tuttavia possibile utilizzare un piccolo hack, WebUI supporta JSON aggiungendo/json/a una pagina.

Così, andando a http://<master-host>:<master-port>/json/ restituirà solo le informazioni che stai cercando:

{ 
    url: "spark://<host>:<port>", 
    workers: [ ], 
    cores: 0, 
    coresused: 0, 
    memory: 0, 
    memoryused: 0, 
    activeapps: [ ], 
    completedapps: [ ], 
    activedrivers: [ ], 
    status: "ALIVE" 
}