filato non onora filato.nodemanager.resource.cpu-vcores

Question

Sto usando Hadoop-2.4.0 e le mie configurazioni di sistema sono 24 core, 96 GB di RAM.

Sto usando seguenti configurazioni

mapreduce.map.cpu.vcores=1 
yarn.nodemanager.resource.cpu-vcores=10 
yarn.scheduler.minimum-allocation-vcores=1 
yarn.scheduler.maximum-allocation-vcores=4 
yarn.app.mapreduce.am.resource.cpu-vcores=1 

yarn.nodemanager.resource.memory-mb=88064 
mapreduce.map.memory.mb=3072 
mapreduce.map.java.opts=-Xmx2048m 

configs Capacità di pianificazione

queue.default.capacity=50 
queue.default.maximum_capacity=100 
yarn.scheduler.capacity.root.default.user-limit-factor=2 

Con configurazioni di cui sopra, mi aspetto filato non lancerà più di 10 mapper per nodo, ma il lancio di 28 mapper per nodo. Sto facendo qualcosa di sbagliato ??

Answer 1

YARN sta eseguendo più contenitori dei nuclei allocati perché per impostazione predefinita viene utilizzato DefaultResourceCalculator. Considera solo memoria.

public int computeAvailableContainers(Resource available, Resource required) { 
// Only consider memory 
return available.getMemory()/required.getMemory(); 
    } 

Utilizzare DominantResourceCalculator, utilizza sia cpu che memoria.

Situato proprio sotto config nella capacità scheduler.xml

yarn.scheduler.capacity.resource-calculator=org.apache.hadoop.yarn.util.resource.DominantResourceCalculator 

Ulteriori informazioni su DominantResourceCalculator