Equivalente all'unione esterna sinistra in SPARK

Question

Esiste un equivalente esterno sinistro in SPARK SCALA? Capisco che c'è un'operazione di join che è equivalente al join interno del database.

Answer 1

Spark Scala ha il supporto del join esterno sinistro. Date un'occhiata qui http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.api.java.JavaPairRDD

L'uso è molto semplice come

rdd1.leftOuterJoin(rdd2) 

Answer 2

Sì, c'è. Dai uno sguardo allo DStream APIs e hanno fornito join esterni sinistro e destro.

Se si dispone di un flusso di di tipo diciamo 'Record', e si desidera unire due flussi di record, allora si può fare questo tipo:

var res: DStream[(Long, (Record, Option[Record]))] = left.leftOuterJoin(right) 

Come dicono le API, la sinistra e i flussi giusti devono essere suddivisi in hash. vale a dire, puoi prendere alcuni attributi da un Record, (o potrebbe essere in qualsiasi altro modo) per calcolare un valore di hash e convertirlo per accoppiare il DStream. Gli stream left e right saranno di tipo DStream[(Long, Record)] prima di chiamare questa funzione di join. (È solo un esempio. Il tipo di hash può essere di un altro tipo diverso da Long.)

Answer 3

E 'semplice come rdd1.leftOuterJoin(rdd2) ma bisogna assicurarsi che entrambe le RDD di sono in forma di (chiave, valore) per ogni elemento di il rdd's.

Answer 4

Spark SQL/dati API telaio supporta anche SINISTRA/DESTRA/FULL outer join direttamente:

https://spark.apache.org/docs/latest/sql-programming-guide.html

A causa di questo bug: https://issues.apache.org/jira/browse/SPARK-11111 outer join in Spark prima di 1.6 potrebbe essere molto lento (a meno che tu non abbia set di dati davvero piccoli da unire). Utilizzava il prodotto cartesiano e poi filtrava prima dell'1.6. Ora invece usa SortMergeJoin.