Come archiviare i record raggruppati in più file con Pig?

Question

Dopo aver caricato e raggruppato i record, come posso archiviare i record raggruppati in più file, uno per gruppo (= userid)?

records = LOAD 'input' AS (userid:int, ...); 
grouped_records = GROUP records BY userid; 

che sto usando Apache Pig versione 0.8.1-cdh3u3 (rexported)

Answer 1

A = LOAD 'mydata' USING PigStorage() as (a, b, c); 
STORE A INTO '/my/home/output' USING MultiStorage('/my/home/output','0', 'bz2', '\\t'); 

Parametri:

1. parentPathStr - Parent percorso di uscita dir
2. splitFieldIndex - indice di campo chiave
3. compressione - 'bz2', 'bz', 'gz' o 'none'
4. fieldDel - Delimitatore di campo del record di output.

Riferimento: GrepCode

Answer 2

In effetti, c'è una classe MultiStorage a Piggybank che fa esattamente quello che voglio - si divide i record da un attributo specificato (in corrispondenza dell'indice '0' nel mio esempio):

STORE records INTO 'output' USING org.apache.pig.piggybank.storage.MultiStorage('output', '0', 'none', ',');