apache-spark-1.5

5calore

2risposta

Opzioni per leggere file di grandi dimensioni (puro testo, xml, json, csv) da hdfs in RStudio con SparkR 1.5

Sono nuovo a Spark e vorrei sapere se ci sono altre opzioni oltre a quelle sotto per leggere i dati memorizzati in un hdf da RStudio usando SparkR o se li uso correttamente. I dati potrebbero essere d

6calore

1risposta

Salvataggio/esportazione di DataFrame trasformato in JDBC/MySQL

Sto cercando di capire come utilizzare il nuovo DataFrameWriter per scrivere i dati su un database JDBC. Non riesco a trovare alcuna documentazione per questo, anche se guardando il codice sorgente se

6calore

1risposta

Converti i valori nulli nell'array vuoto in Spark DataFrame

Ho un frame di dati Spark in cui una colonna è una matrice di numeri interi. La colonna è nullable perché proviene da un join esterno sinistro. Voglio convertire tutti i valori null in una matrice vuo

16calore

6risposta

"INSERT INTO ..." con SparkSQL HiveContext

Sto cercando di eseguire un'istruzione inserto con il mio HiveContext, in questo modo: hiveContext.sql('insert into my_table (id, score) values (1, 10)') Il 1.5.2 Spark SQL Documentation non afferma

11calore

1risposta

Come connettere lo Zeppelin a Spark 1.5 costruito dalle sorgenti?

Ho estratto l'ultima fonte dal repository Spark e creato localmente. Funziona alla grande da una shell interattiva come spark-shell o spark-sql. Ora voglio collegare Zeppelin al mio Spark 1.5, secondo