Sto cercando un esempio che utilizza la nuova API per leggere e scrivere file di sequenza.Lettura e scrittura di file sequenza utilizzando Hadoop 2.0 Apis
Effettivamente ho bisogno di sapere come utilizzare queste funzioni
createWriter(Configuration conf, org.apache.hadoop.io.SequenceFile.Writer.Option... opts)
la vecchia definizione non funziona per me:
SequenceFile.createWriter(fs, conf, path, key.getClass(), value.getClass());
Allo stesso modo ho bisogno di sapere quale sarà il codice per la lettura del file di sequenza, come il follwoing è deprecato:
SequenceFile.Reader(fs, path, conf);
Ecco il modo per utilizzare lo stesso -
String uri = args[0];
Configuration conf = new Configuration();
Path path = new Path(uri);
IntWritable key = new IntWritable();
Text value = new Text();
CompressionCodec Codec = new GzipCodec();
SequenceFile.Writer writer = null;
Option optPath = SequenceFile.Writer.file(path);
Option optKey = SequenceFile.Writer.keyClass(key.getClass());
Option optVal = SequenceFile.Writer.valueClass(value.getClass());
Option optCom = SequenceFile.Writer.compression(CompressionType.RECORD, Codec);
writer = SequenceFile.createWriter(conf, optPath, optKey, optVal, optCom);
questo utilizza ancora la vecchia API 'lettore SequenceFile.Reader = new Reader (fs, seqFilePath, conf);?' –
Grazie per il vostro sforzo –
Che cosa si intende per vecchia API (mapred vs MapReduce questo? il codice utilizza qualsiasi cosa da questi pacchetti) –