Spark iterate Directory HDFS

Question

Ho una directory di directory su HDFS e voglio scorrere le directory. C'è un modo semplice per farlo con Spark usando l'oggetto SparkContext?

Answer 1

È possibile utilizzare org.apache.hadoop.fs.FileSystem. In particolare, FileSystem.listFiles([path], true)

E con Spark ...

FileSystem.get(sc.hadoopConfiguration()).listFiles(..., true) 

Answer 2

import org.apache.hadoop.fs.{FileSystem,Path} 

FileSystem.get(sc.hadoopConfiguration).listStatus(new Path("hdfs:///tmp")).foreach(x => println(x.getPath)) 

questo ha funzionato per me.

Spark versione 1.5.0-cdh5.5.2

Answer 3

Si può provare con lo status globStatus così

val listStatus = org.apache.hadoop.fs.FileSystem.get(new URI(url), sc.hadoopConfiguration).globStatus(new org.apache.hadoop.fs.Path(url)) 

     for (urlStatus <- listStatus) { 
     println("urlStatus get Path:"+urlStatus.getPath()) 
} 

Answer 4

Ecco versione PySpark se qualcuno è interessato:

hadoop = sc._jvm.org.apache.hadoop 

fs = hadoop.fs.FileSystem 
conf = hadoop.conf.Configuration() 
path = hadoop.fs.Path('/hivewarehouse/disc_mrt.db/unified_fact/') 

for f in fs.get(conf).listStatus(path): 
    print f.getPath() 

In questo particolare caso ottengo l'elenco di tutti i file che compongono la tabella Hive disc_mrt.unified_fact.

Altri metodi di oggetto FileStatus, come getLen() per ottenere le dimensioni del file sono descritte qui:

Class FileStatus