Come posso controllare un nome di lavoro alveare ma mantenere le informazioni sul palco?

Question

Ho un numero di query hive che il mio sistema esegue regolarmente. Quando guardi il job tracker, vengono visualizzati come "campo SELECT, altro campo ..... (fase 1)" e simili. Non è particolarmente utile per me, quindi ho aggiunto:

set mapred.job.name = more helpful name;
alla richiesta. Ora posso distinguerli meglio. Tuttavia, ora le mie query divise in più fasi vengono visualizzate con lo stesso nome. Quello che mi piacerebbe idealmente è qualcosa sulla falsariga di

set mapred.job.name = more helpful name (Stage-%d);
dove% d verrebbe sostituito dal numero di stage corrente.
E 'possibile, e qualcuno sa come?

Answer 1

Non sono sicuro che esista un modo per implementare esattamente ciò che desideri ma posso offrire qualcos'altro.
Invece di utilizzare set mapred.job.name è possibile aggiungere un commento all'inizio della query con un more helpful name come questo:
-- this is a more helpful name
SELECT field, other_field ....

Poi, nel JobTracker vedrete -- this is a more helpful name ..... (Stage-%d) "

Answer 2

ho trovato questo sito: https://cwiki.apache.org/confluence/display/Hive/AdminManual+Configuration

su di essa v'è una proprietà chiamata: hive.query.string

quindi set hive.query.string = even more helpful name dovrebbe funzionare.

Funziona perfettamente per me.

Answer 3

So che questa è una risposta molto tarda, ma comunque se questo mi aiuta a farmelo sapere.

Ciò si verifica perché HIVE non consente di impostare determinati parametri in fase di esecuzione. Ancora se si desidera impostarlo, attenersi alla seguente procedura:

1. Accedere all'interfaccia utente Ambari come amministratore.
2. Vai alveare Configs
3. Aprire personalizzato HiveSite.xml
4. Add seguente valore chiave coppia
   CHIAVE: hive.security.authorization.sqlstd.confwhitelist.append
   VALORE: mapred.job.name
servizio
5. Restart HIVE

È possibile qualsiasi coppia chiave-valore in questa configurazione per il quale si ottiene questo errore di runtime