Attualmente stiamo costruendo una piattaforma di reportistica come un archivio dati utilizzato Shark. Poiché lo sviluppo di Shark viene interrotto, siamo nella fase di valutazione di Spark SQL. Sulla base dei casi d'uso che abbiamo abbiamo avuto alcune domande.Supporto Spark Sql JDBC
1) Abbiamo dati da varie fonti (MySQL, Oracle, Cassandra, Mongo). Vorremmo sapere come possiamo ottenere questi dati in Spark SQL? Esiste qualche utilità che possiamo usare? Questa utility supporta l'aggiornamento continuo dei dati (sincronizzazione del nuovo add/update/delete sull'archivio dati su Spark SQL?
2) È un modo per creare più database in Spark SQL?
3) Per l'interfaccia utente di Report utilizziamo Jasper, ci piacerebbe connettersi da Jasper a Spark SQL. Quando abbiamo effettuato la nostra ricerca iniziale, ora sappiamo che non esiste alcun supporto per il consumatore per connettere Spark SQL tramite JDBC, ma nelle versioni future ti piacerebbe aggiungere lo stesso. Vorremmo sapere quando Spark SQL avrà una versione stabile che avrebbe il supporto JDBC? Nel frattempo abbiamo preso il codice sorgente da https://github.com/amplab/shark/tree/sparkSql ma abbiamo avuto qualche difficoltà a configurarlo localmente e a valutarlo. Sarebbe bello se tu potessi aiutarci con le istruzioni di installazione. (Posso condividere il problema che stiamo affrontando per favore fammi sapere dove posso pubblicare i log degli errori)
4) Avremmo anche bisogno di un prompt SQL dove possiamo eseguire query, attualmente Spark Shell fornisce il prompt SCALA in cui è possibile eseguire il codice SCALA, dal codice SCALA è possibile eseguire query SQL. Come Shark vorremmo avere il prompt SQL in Spark SQL. Quando abbiamo fatto la nostra ricerca, abbiamo scoperto che nella prossima versione di Spark questo sarebbe stato aggiunto. Sarebbe fantastico se potesse dirci quale versione di Spark avrebbe affrontato la stessa cosa.
Ciao, sto cercando di memorizzare i dati dalla scintilla di Apache a mysql. Hai trovato qualche soluzione alla tua domanda? Se sì, puoi condividere come stai stabilendo la comunicazione tra spark e mysql? Questo sarà di grande aiuto per me. Grazie –