distinta vs gruppo con cui è meglio

Question

per il caso più semplice che tutti noi riferiamo a:

select id from mytbl 
group by id 

e

select distinct id from mytbl 

come sappiamo, che generano lo stesso piano di query che era stato più volte citato in qualche articoli come Which is better: Distinct or Group By

Nell'alveare, tuttavia, il primo ha solo un compito di riduzione mentre il secondo ne ha molti.

Da esperimenti, ho fondato che GROUP BY è 10+ volte più veloce di DISTINCT.

Sono diversi.

Quindi quello che ho imparato è:

GROUP BY-è in ogni caso non è peggio di DISTINCT, ed è meglio a volte.

Vorrei sapere:

. Se questa conclusione è vera.

. Se vero, considererò DISTINCT come un approccio per la convenienza logica, ma perché DISTINCT non prende l'implementazione migliore di GROUP-BY?

. Se falso, sarei molto desideroso di conoscere il suo uso decente in situazioni di big-data.

Grazie mille !! :)

Answer 1

La vostra esperienza è interessante. Non ho visto l'effetto del singolo riduttore per distinct rispetto a group by. Forse c'è una sottile differenza nell'ottimizzatore tra i due costrutti.

Un esempio "brillante" in Hive è:

select count(distinct id) 
from mytbl; 

contro

select count(*) 
from (select distinct id 
     from mytbl 
    ) t; 

Il primo usa solo un riduttore e quest'ultimo opera in parallelo. Ho visto questo sia nella mia esperienza, che è documentato e discusso (per esempio, sulle diapositive 26 e 27 in questo presentation). Quindi, distinct può sicuramente sfruttare il parallelismo.

Immagino che con l'invecchiamento di Hive, tali problemi verranno risolti. Tuttavia, è ironico che Postgres abbia un problema di prestazioni simile con COUNT(DISTINCT), anche se penso che la ragione sottostante sia leggermente diversa.