Come si stampano le proprietà hadoop nella riga di comando?

Question

Ho solo trovare il modo di impostare una proprietà da hadoop dfsadmin -D xx=yy,

ma come faccio a trovare il valore di una proprietà specifica xx a riga di comando?

Answer 1

È possibile utilizzare GenericOptionsParser per caricare l'impostazione di Hadoop su oggetto con tipo di configurazione e iterarne le proprietà. Ecco un esempio che dimostra questo approccio attraverso una classe di utilità (Configurata).

public class ConfigPrinter extends Configured implements Tool { 
    static { 
     // by default core-site.xml is already added 
     // loading "hdfs-site.xml" from classpath 
     Configuration.addDefaultResource("hdfs-site.xml"); 
     Configuration.addDefaultResource("mapred-site.xml"); 
    } 

    @Override 
    public int run(String[] strings) throws Exception { 
     Configuration config = this.getConf(); 
     for (Map.Entry<String, String> entry : config) { 
      System.out.println(entry.getKey() + " = " + entry.getValue()); 
     } 
     return 0; 
    } 

    public static void main(String[] args) throws Exception { 
     ToolRunner.run(new ConfigPrinter(), args); 
    } 
} 

Answer 2

È possibile scaricare Hadoop config eseguendo:

$ hadoop org.apache.hadoop.conf.Configuration