Ignora il mapreduce di hadoop.fileoutputcommitter.marksuccessfuljobs in oozie

Question

<property> 
<name>mapreduce.fileoutputcommitter.marksuccessfuljobs</name> 
<value>false</value> 
</property> 

Desidero sovrascrivere la proprietà precedente su true. La proprietà deve essere falsa per il resto dei lavori sul cluster, ma ho bisogno, nel mio flusso di lavoro, di creare un file _SUCCESS nella directory di output dopo il completamento del lavoro. È un'azione alveare nel flusso di lavoro che scrive l'output. Per favore aiuto.

Answer 1

Hive ignora purtroppo questa funzionalità impostando un proprio NullOutputComitter:

conf.setOutputCommitter(NullOutputCommitter.class); 

vedere

src/shims/src/0.20/java/org/apache/hadoop/hive/shims/Hadoop20Shims.java 
src/shims/src/common-secure/java/org/apache/hadoop/hive/shims/HadoopShimsSecure.java 

Sembra che dovrete creare la bandiera manualmente. Abbiamo archiviato HIVE-3700 per questo.

Answer 2

Mi sono imbattuto nello stesso problema e ho finito per usare un'azione di shell per creare il flag.

Ecco un esempio completo: http://nathan.vertile.com/blog/2014/09/02/oozie-data-pipeline-done-flag/

Answer 3

È possibile aggiungere il comando 'dfs' allo script alveare, come

dfs -touchz '$table_base_path'/dt='${partition}'/_SUCCESS

https://archive.cloudera.com/cdh4/cdh/4/hive/language_manual/cli.html