Interrompe il contesto di streaming in Spark Streaming dopo un periodo di tempo

Question

I che costruisce un'applicazione che riceve DStreams da Twitter, l'unico modo per interrompere il contesto Streaming è interrompere l'esecuzione. Mi chiedo se c'è un modo per impostare un tempo e terminare il socket di streaming senza interrompere l'intera applicazione?

Answer 1

È possibile utilizzare uno

awaitTerminationOrTimeout(long) 

Come accennato nella risposta precedente, oppure è possibile interrompere il contesto in streaming manualmente dal altro thread:

// in the main thread 
    awaitTermination(); // will wait forever or until the context is stopped 

    // in another thread 
    streamingContext.stop(); 

Answer 2

È possibile utilizzare il metodo awaitTermination() sull'oggetto streamingContext per attendere un intervallo di tempo specificato. Fare riferimento this