sto programmando con scintilla in streaming, ma hanno qualche problema con Scala. Sto cercando di utilizzare la funzione StreamingContext.fileStreamscintilla in streaming FILESTREAM
La definizione di questa funzione è simile a questo:
def fileStream[K, V, F <: InputFormat[K, V]](directory: String)(implicit arg0: ClassManifest[K], arg1: ClassManifest[V], arg2: ClassManifest[F]): DStream[(K, V)]
creare un flusso di ingresso che controlla un file system compatibile con Hadoop per i nuovi file e li legge con il dati i tipi di valori-chiave e il formato di input. Nomi di file che iniziano con. sono ignorati K tipo chiave di lettura di file HDFS tipo V valore per la lettura di file di HDFS F formato di input per la lettura di file di HDFS directory directory HDFS per monitorare nuovo file
non so come passare il tipo di chiave e valore. mio codice in Streaming scintilla:
val ssc = new StreamingContext(args(0), "StreamingReceiver", Seconds(1),
System.getenv("SPARK_HOME"), Seq("/home/mesos/StreamingReceiver.jar"))
// Create a NetworkInputDStream on target ip:port and count the
val lines = ssc.fileStream("/home/sequenceFile")
codice Java per scrivere il file Hadoop:
public class MyDriver {
private static final String[] DATA = { "One, two, buckle my shoe",
"Three, four, shut the door", "Five, six, pick up sticks",
"Seven, eight, lay them straight", "Nine, ten, a big fat hen" };
public static void main(String[] args) throws IOException {
String uri = args[0];
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(URI.create(uri), conf);
Path path = new Path(uri);
IntWritable key = new IntWritable();
Text value = new Text();
SequenceFile.Writer writer = null;
try {
writer = SequenceFile.createWriter(fs, conf, path, key.getClass(),
value.getClass());
for (int i = 0; i < 100; i++) {
key.set(100 - i);
value.set(DATA[i % DATA.length]);
System.out.printf("[%s]\t%s\t%s\n", writer.getLength(), key,
value);
writer.append(key, value);
}
} finally {
IOUtils.closeStream(writer);
}
}
}
Quali problemi stai vedendo? Stai ricevendo errori di compilazione? Se sì, quali sono? Stai ricevendo errori/comportamento imprevisto quando si esegue il codice? Se fornisci più contesto su quali errori/comportamenti imprevisti stai vedendo, è più probabile che tu ottenga risposte utili. – cmbaxter