Spark: creazione di un RDD da un servizio REST

Question

Esiste una funzionalità pronta per Spark disponibile per collegare un RDD a un servizio REST? Cioè, chiamare un servizio web e ottenere un RDD.

O è l'approccio più semplice per chiamare il servizio di restituzione da solo e convertire la raccolta dei risultati in un RDD?

Grazie.

Answer 1

È possibile fare riferimento al link Spark-Jobserver

Alcune delle caratteristiche di Spark-Jobserver che credo che stai cercando sono:

• "Spark as a Service": Interfaccia semplice riposo per tutti aspetti del lavoro, gestione del contesto
• Avviare e interrompere i contesti di lavoro per la condivisione RDD e lavori a bassa latenza; cambia risorse al riavvio
• API di lavoro asincrono e sincrono. L'API sincrona è ideale per lavori a bassa latenza!
• Nome RDD per memorizzare e recuperare gli RDD in base al nome, migliorando la condivisione e il riutilizzo di RDD tra i lavori.

Spero che questo aiuti.

Answer 2

ho usato cliente jersey, leggere una stringa (documento di una JSON comple per riga), e con questa stringa ha fatto questo:

val stringResponse = request.request().get(classOf[String]) 
val jsonDataset = session.createDataset[String](Seq(stringResponse)) 
// try with case class 
val parsedResponse = session.read.json(jsonDataset) 

... che si traduce in un dataframe che è possibile selezionare roba.