differenza tra rdd.collect(). ToMap in rdd.collectAsMap()?

Question

C'è qualche impatto sulle prestazioni quando uso collectAsMap sul mio RDD invece di rdd.collect(). InMap?

Ho un valore chiave rdd e voglio convertire in HashMap per quanto so che collect() non è efficiente su insiemi di dati di grandi dimensioni in quanto viene eseguito su driver posso utilizzare collectAsMap invece c'è qualche impatto sulle prestazioni?

originale:

val QuoteHashMap=QuoteRDD.collect().toMap 
val QuoteRDDData=QuoteHashMap.values.toSeq 
val QuoteRDDSet=sc.parallelize(QuoteRDDData.map(x => x.toString.replace("(","").replace(")",""))) 
QuoteRDDSet.saveAsTextFile(Quotepath) 

Cambio:

val QuoteHashMap=QuoteRDD.collectAsMap() 
val QuoteRDDData=QuoteHashMap.values.toSeq 
val QuoteRDDSet=sc.parallelize(QuoteRDDData.map(x => x.toString.replace("(","").replace(")",""))) 
QuoteRDDSet.saveAsTextFile(Quotepath) 

Answer 1

L'attuazione del collectAsMap è la seguente

def collectAsMap(): Map[K, V] = self.withScope { 
    val data = self.collect() 
    val map = new mutable.HashMap[K, V] 
    map.sizeHint(data.length) 
    data.foreach { pair => map.put(pair._1, pair._2) } 
    map 
    } 

Quindi, non v'è alcuna differenza di prestazioni tra collect e collectAsMap, perché collectAsMap chiama unde r la cappa anche collect.

Answer 2

Nessuna differenza. Evita di usare collect() il più possibile in quanto distrugge il concetto di parallelismo e raccoglie i dati sul driver.