Hive UDF che utilizzano Hive tavolo

Question

ho sviluppato un UDF alveare in Java che funziona correttamente, la mia funzione restituire la migliore corrispondenza tra l'ingresso e una colonna in una tabella di alveare, in modo da avere questo pseudo-codice semplificato:

class myudf extends udf{ 

    evaluate(Text input){ 

     getNewHiveConnection(); //i want to replace this by getCurrentHiveUserConnetion(); 
     executeHiveQuery(input); 
     return something; 
} 

La mia domanda è, se questa funzione è invocata da Hive, perché ho bisogno di connettermi ad hive nel mio codice? posso usare la connessione corrente che l'utente che usa la mia funzione è connesso da?

Answer 1

Sì, è possibile rendere permanente l'UDF. Ad esempio:

Ciò renderà la funzione permanente e chiunque sarà in grado di chiamarla. In questo caso, il file jar è memorizzato su HDFS per una facile accessibilità, ma ci sono altre opzioni.

Vedere Hive wiki per ulteriori dettagli.

Answer 2

Se si desidera restituire un valore corrispondente più da tutta la colonna in una query, si potrebbe pensare se come una sorta di aggregazione e di utilizzare Hive UDAF: https://cwiki.apache.org/confluence/display/Hive/GenericUDAFCaseStudy

C'è anche molto utile tutorial: http://beekeeperdata.com/posts/hadoop/2015/08/17/hive-udaf-tutorial.html