sequencefile

7calore

1risposta

Scrittura e lettura di array di byte grezzi in Spark - utilizzando Sequence File SequenceFile

Come si scrive RDD[Array[Byte]] in un file utilizzando Apache Spark e lo si legge di nuovo?

scala hadoop hdfs apache-spark sequencefile 2014-06-06

---

7calore

1risposta

utilizzando pyspark, lettura/scrittura di immagini 2D su file system hadoop

Desidero essere in grado di leggere/scrivere immagini su un file system hdfs e sfruttare la località hdfs. Ho una collezione di immagini in cui ogni immagine è composta da matrici 2D di uint16 di base

hadoop apache-spark sequencefile pyspark 2015-02-25

---

5calore

1risposta

Lettura di sequenze HadoopFiles con Hive

Ho alcuni dati mappati dalla scansione comune che ho memorizzato in un formato SequenceFile. Ho provato più volte a utilizzare questi dati "così come sono" con Hive, così posso interrogarlo e campiona

hive sequencefile 2012-11-02

---

6calore

1risposta

Estendi SequenceFileInputFormat per includere nome file + offset

Vorrei poter creare un InputFormat personalizzato che legge i file di sequenza, ma espone inoltre il percorso e l'offset del file all'interno del file in cui si trova il record. Per fare un passo indi

java hadoop mapreduce sequencefile 2013-09-05

---