Pig, come fare riferimento a un campo dopo un join e un gruppo da

Question

Ho questo codice nella Pig (vittoria, richiesta e risposta sono solo tabelle caricati direttamente dal file system):

win_request = JOIN win BY bid_id, request BY bid_id; 
win_request_response = JOIN win_request BY win.bid_id, response BY bid_id; 

win_group = GROUP win_request_response BY (win.campaign_id); 

win_count = FOREACH win_group GENERATE group, SUM(win.bid_price); 

Fondamentalmente voglio sommare il bid_price dopo l'ingresso e il raggruppamento, ma ottengo un errore:

Could not infer the matching function for org.apache.pig.builtin.SUM as multiple or none of them fit. Please use an explicit cast. 

mia ipotesi è che non mi riferisco correttamente win.bid_price.

Answer 1

Quando si eseguono più join, si consiglia di utilizzare identificativi univoci per i propri campi (ad esempio per bid_id). In alternativa, puoi anche usare disambiguation operator '::', ma questo può diventare piuttosto sporco.

wins = LOAD '/user/hadoop/rtb/wins' USING PigStorage(',') AS (f1_w:int, f2_w:int, f3_w:chararray); 
reqs = LOAD '/user/hadoop/rtb/reqs' USING PigStorage(',') AS (f1_r:int, f2_r:int, f3_r:chararray); 
resps = LOAD '/user/hadoop/rtb/resps' USING PigStorage(',') AS (f1_rp:int, f2_rp:int, f3_rp:chararray); 

wins_reqs = JOIN wins BY f1_w, reqs BY f1_r; 
wins_reqs_reps = JOIN wins_reqs BY f1_r, resps BY f1_rp; 

win_group = GROUP wins_reqs_reps BY (f3_w); 

win_sum = FOREACH win_group GENERATE group, SUM(wins_reqs_reps.f2_w);