Nodi SENZA SALUTE YARN

Question

Nel nostro cluster YARN che è pieno all'80%, stiamo vedendo alcuni dei nodemanager del filato contrassegnati come NON SANO. dopo aver scavato nei registri ho trovato il suo perché lo spazio su disco è pieno al 90% per la dir dati. Con seguente errore

2015-02-21 08:33:51,590 INFO org.apache.hadoop.yarn.server.resourcemanager.rmnode.RMNodeImpl: Node hdp009.abc.com:8041 reported UNHEALTHY with details: 4/4 local-dirs are bad: /data3/yarn/nm,/data2/yarn/nm,/data4/yarn/nm,/data1/yarn/nm; 
2015-02-21 08:33:51,590 INFO org.apache.hadoop.yarn.server.resourcemanager.rmnode.RMNodeImpl: hdp009.abc.com:8041 Node Transitioned from RUNNING to UNHEALTHY 

Sto cercando di capire come nodo di marchi filati malsano & c'è un modo per cambiare la soglia?

Grazie

Answer 1

prova ad aggiungere la proprietà yarn.nodemanager.disk-salute-checker.max-disk-utilizzazione-per-disk-percentuale a filo-site.xml. Questa proprietà specifica la percentuale massima di utilizzo dello spazio su disco consentito dopo il quale un disco viene contrassegnato come non valido. I valori possono variare da 0,0 a 100,0.

yarn-default.xml

forza allo stato di salute esempio:

<?xml version="1.0"?> 
<configuration>  
    <property> 
    <name>yarn.nodemanager.disk-health-checker.min-healthy-disks</name> 
    <value>0.0</value> 
    </property> 
    <property> 
    <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name> 
    <value>100.0</value> 
    </property> 
</configuration>