5
La struttura della directory HDFS è la seguente.Cicli attraverso le directory hdfs
/user/hive/warehouse/check.db/abcd/date=2015-02-02/xyz=hijk/000000_0 /user/hive/warehouse/check.db/abcd/date=2015-02- 02/xyz = pqrs/000000_0
Sto cercando di scorrere tutte le directory in "/user/hive/warehouse/check.db/abcd" e ricavare 2 campi e sto utilizzando il codice seguente.
INPUT='/user/hive/warehouse/check.db/abcd'
for dir in $(hadoop fs -ls $INPUT/*/ | grep -o -e "$INPUT/.*") ; do
xyz=$(echo $dir | cut -d '=' -f 3)
date=$(echo $dir | sed 's/.*date=\(.*\)\/xyz.*/\1/g')
done
È il modo migliore per farlo oppure esiste un modo alternativo migliore per farlo?