Hadoop copia una directory?

Question

Esiste un'API HDFS in grado di copiare un'intera directory locale su HDFS? Ho trovato un'API per copiare i file ma ce n'è una per le directory?

Answer 1

Utilizzare Hadoop FS shell. In particolare:

$ hadoop fs -copyFromLocal /path/to/local hdfs:///path/to/hdfs 

Se si vuole fare a livello di codice, creare due filesystem (uno locale e uno HDFS) e utilizzare the FileUtil class

Answer 2

Ho provato a copiare dalla directory usando

/hadoop/core/bin/hadoop fs -copyFromLocal /home/grad04/lopez/TPCDSkew/ /export/hadoop1/lopez/Join/TPCDSkew 

Dava un errore che dice che Target è una directory. L'ho quindi modificato in

/hadoop/core/bin/hadoop fs -copyFromLocal /home/grad04/lopez/TPCDSkew/*.* /export/hadoop1/lopez/Join/TPCDSkew 

funziona.

Answer 3

Per il programmatore, è possibile utilizzare anche copyFromLocalFile. Ecco un esempio:

import org.apache.hadoop.conf.Configuration 
import org.apache.hadoop.fs.FileSystem 
import org.apache.hadoop.fs.Path 

val hdfsConfig = new Configuration 
val hdfsURI = "hdfs://127.0.0.1:9000/hdfsData" 
val hdfs = FileSystem.get(new URI(hdfsURI), hdfsConfig) 

val oriPath = new Path("#your_localpath/customer.csv") 
val targetFile = new Path("hdfs://your_hdfspath/customer.csv") 
hdfs.copyFromLocalFile(oriPath, targetFile) 

Answer 4

Nella versione Hadoop:

Hadoop 2.4.0.2.1.1.0-390 

(E probabilmente in seguito, ho testato solo questa versione specifica in quanto è quella che ho)

È possibile copiare intere directory ricorsivamente senza alcuna notazione speciale utilizzando copyFromLocal ad esempio ,:

hadoop fs -copyFromLocal /path/on/disk /path/on/hdfs 

che funziona anche quando /path/on/disk è una directory contenente sottodirectory e file.