In che modo Hive decide quando utilizzare la mappa ridurre e quando no?

Question

Come semplice esempio,

select * from tablename; 

NON SI calcio nel ridurre mappa, mentre

select count(*) from tablename; 

fa. Qual è il principio generale utilizzato per decidere quando utilizzare la mappa riduci (dall'alveare)?

Answer 1

In generale, qualsiasi tipo di aggregazione, come min/max/count richiederà un lavoro MapReduce. Questo non ti spiegherà tutto, probabilmente.

Hive, nello stile di molti RDBMS, ha una parola chiave EXPLAIN che descriverà come la query Hive viene tradotta in lavori MapReduce. Prova a eseguire spiegare su entrambe le query di esempio e vedere cosa sta cercando di fare dietro le quinte.

Answer 2

selezionare * da tablename;

Legge solo i dati grezzi dai file in HDFS, quindi è molto più veloce senza MapReduce.

Answer 3

È una tecnica di ottimizzazione, l'attività(FETCH) può ridurre al minimo la latenza del sovraccarico di mapreduce.

Quando si esegue SELECT, LIMIT, FETCH esegue una query su questa proprietà ignora mapreduce e utilizza l'attività FETCH.

Questa proprietà può avere 3 valori - none, minimal (impostazione predefinita) e more.

Answer 4

Ogni volta che spariamo una query come select * from tablename, Hive legge il file di dati e recupera tutti i dati senza fare alcuna aggregazione (min/max/count, ecc). Chiamerà uno FetchTask anziché un mapreduce attività.

Questa è anche una tecnica di ottimizzazione in Hive. hive.fetch.task.conversion proprietà possibile (ad esempio, attività FETCH) ridurre al minimo la latenza di sovraccarico della mappa.

Questo è come stiamo leggendo un file Hadoop: Hadoop fs -cat nome

Ma se usiamo selezionare colNames da tablename, richiede una mappa-reduce lavoro come ha bisogno di estrarre la "colonna" di ogni riga analizzandola dal file che carica.