Come abilitare lo streaming da Cassandra a Spark?

Question

Ho il seguente lavoro scintilla:

from __future__ import print_function 

import os 
import sys 
import time 
from random import random 
from operator import add 
from pyspark.streaming import StreamingContext 
from pyspark import SparkContext,SparkConf 
from pyspark.streaming.kafka import KafkaUtils 
from pyspark.sql import SQLContext, Row 
from pyspark.streaming import StreamingContext 
from pyspark_cassandra import streaming,CassandraSparkContext 

if __name__ == "__main__": 

    conf = SparkConf().setAppName("PySpark Cassandra Test") 
    sc = CassandraSparkContext(conf=conf) 
    stream = StreamingContext(sc, 2) 

    rdd=sc.cassandraTable("keyspace2","users").collect() 
    #print rdd 
    stream.start() 
    stream.awaitTermination() 
    sc.stop() 

Quando ho eseguito questo, mi dà il seguente errore:

ERROR StreamingContext: Error starting the context, marking it as stopped 
java.lang.IllegalArgumentException: requirement failed: \ 
No output operations registered, so nothing to execute 

lo script shell corro:

./bin/spark-submit --packages TargetHolding:pyspark-cassandra:0.2.4 example 
s/src/main/python/test/reading-cassandra.py 

Confronto longherone k streaming con Kafka, ho questa linea manca dal codice di cui sopra:

kafkaStream = KafkaUtils.createStream(stream, 'localhost:2181', "name", {'topic':1}) 

dove realtà sto usando createStream ma per Cassandra, non riesco a vedere nulla di simile sui documenti. Come posso avviare lo streaming tra lo streaming di scintille e cassandra?

Versioni:

Cassandra v2.1.12 
Spark v1.4.1 
Scala 2.10 

Answer 1

per creare DSTREAM da una tabella di Cassandra, è possibile utilizzare un ConstantInputDStream fornire il RDD creato dal tavolo Cassandra come input. Ciò comporterà l'RDD materializzato su ciascun intervallo DStream.

Tieni presente che tabelle o tabelle di grandi dimensioni che crescono continuamente di dimensioni incideranno negativamente sulle prestazioni del tuo lavoro di streaming.

Vedere anche: Reading from Cassandra using Spark Streaming per un esempio.