Hive: creazione di tabelle con più file con più directory

Question

Voglio creare una tabella Hive in cui i file di testo di input vengono spostati su più sottodirectory in hdf. Così esempio ho in HDFS:

/testdata/user/Jan/part-0001 
    /testdata/user/Feb/part-0001 
    /testdata/user/Mar/part-0001 
and so on... 

Se voglio creare un utente tavolo in alveare, ma hanno che sia in grado di attraversare le sottodirectory di utente, può che essere fatto? Ho provato qualcosa di simile, ma non funziona;

CREATE EXTERNAL TABLE users (id int, name string) 
STORED AS TEXTFILE LOCATION '/testdata/user/*' 

ho pensato di aggiungere il carattere jolly avrebbe funzionato, ma non lo fa. Quando ho provato a non utilizzare il carattere jolly, non funziona ancora. Tuttavia, se copio i file nella directory principale dell'utente, funziona. Non c'è modo per Hive di attraversare le directory dei bambini e prendere quei file?

Answer 1

Hive utilizza sottodirectory come partizioni dei dati, così semplicemente:

CREATE EXTERNAL TABLE users (id int, name string) PARTITIONED BY (month string) 
STORED AS TEXTFILE LOCATION '/testdata/user/' 

Questo dovrebbe farlo per voi.

Answer 2

CREATE EXTERNAL TABLE user (id int, name string); 
LOAD DATA INPATH "/testdata/user/*/*" INTO TABLE users; 

Answer 3

È possibile creare una tabella esterna, quindi aggiungere sottocartelle come partizioni.

CREATE EXTERNAL TABLE test (id BIGINT) PARTITIONED BY (yymmdd STRING); 
ALTER TABLE test ADD PARTITION (yymmdd = '20120921') LOCATION 'loc1'; 
ALTER TABLE test ADD PARTITION (yymmdd = '20120922') LOCATION 'loc2'; 

Answer 4

Ho finito per utilizzare uno script di shell come di seguito per un caso d'uso in cui le sottodirectory non sono note a priori.

#!/bin/bash 
hive -e "CREATE EXTERNAL TABLE users (id int, name string) PARTITIONED BY (month string) STORED AS TEXTFILE LOCATION '/testdata/user/'; " 

hscript="" 

for part in `hadoop fs -ls /testdata/user/ | grep -v -P "^Found"|grep -o -P "[a-zA-Z]{3}$"`; 
do 

echo $part 
tmp="ALTER TABLE users ADD PARTITION(month='$part');" 
hscript=$hscript$tmp 
done; 

hive -e "$hscript"