Trasmettere dati direttamente in hdf senza copiare

Question

Sto cercando diverse opzioni tramite le quali posso scrivere i dati direttamente in hdf usando python senza archiviare sul nodo locale e quindi usando copyfromlocal.

Vorrei utilizzare file simile al metodo write dei file e l'uso locale HDFS con la linea come argomento, qualcosa di quanto segue:

hdfs_file = hdfs.create("file_tmp") 
    hdfs_file.write("Hello world\n") 

Does esistono qualcosa di simile al caso d'uso di cui sopra?

Answer 1

Im non sicuro di una libreria python HDFS, ma si può sempre lo streaming tramite un fs Hadoop comando put e denotano la copia da stdin usando '-', come il nome del file di origine:

hadoop fs -put - /path/to/file/in/hdfs.txt