Output Dstream di Apache Spark in Python

Question

Sto provando le tecnologie che userò per costruire una pipeline di dati in tempo reale, e ho incontrato alcuni problemi nell'esportazione dei miei contenuti in un file.

Ho installato un cluster kafka locale e un produttore node.js che invia un semplice messaggio di testo solo per testare la funzionalità e ottenere una stima approssimativa della complessità dell'implementazione.

Questo è il lavoro sparkming che sta leggendo da Kafka e sto cercando di farlo scrivere in un file.

from pyspark import SparkContext 
from pyspark.streaming import StreamingContext 
from pyspark.streaming.kafka import KafkaUtils 

# Create a local StreamingContext with two working thread and batch interval of 1 second 
sc = SparkContext("local[2]", "KafkaStreamingConsumer") 
ssc = StreamingContext(sc, 10) 

kafkaStream = KafkaUtils.createStream(ssc, "localhost:2181", "consumer-group", {"test": 1}) 

kafkaStream.saveAsTextFile('out.txt') 

print 'Event recieved in window: ', kafkaStream.pprint() 

ssc.start() 
ssc.awaitTermination() 

L'errore che sto vedendo al momento della presentazione del lavoro scintilla è:

kafkaStream.saveAsTextFile('out.txt') 
AttributeError: 'TransformedDStream' object has no attribute 'saveAsTextFile' 

Nessun calcoli o trasformazioni vengono eseguite sui dati, voglio solo per costruire il flusso. Cosa devo modificare/aggiungere per poter esportare i dati in un file?

Answer 1

http://spark.apache.org/docs/latest/api/python/pyspark.streaming.html

saveAsTextFiles (notare il plurale)

saveAsTextFile (singolare) è un metodo su un RDD, non un DSTREAM.