Scrittura di file su HDFS utilizzando Java

Question

Sto provando a scrivere un file su HDFS, il file viene creato ma è vuoto nel cluster, tuttavia quando eseguo il codice localmente funziona come un incantesimo.

ecco il mio codice:

FSDataOutputStream recOutputWriter = null; 
FileSystem fs = null; 
try { 
    //OutputWriter = new FileWriter(outputFileName,true); 
    Configuration configuration = new Configuration(); 
    fs = FileSystem.get(configuration); 
    Path testOutFile = new Path(outputFileName); 
    recOutputWriter = fs.create(testOutFile); 

    //outputWriter = new FileWriter(outputFileName,true); 
} catch (IOException e) { 
    e.printStackTrace(); 
} 
recOutputWriter.writeBytes("======================================\n"); 
recOutputWriter.writeBytes("OK\n"); 
recOutputWriter.writeBytes("======================================\n"); 

if (recOutputWriter != null) { 
    recOutputWriter.close(); 
} 
fs.close(); 

Mi sono perso qualcosa?

Answer 1

Per scrivere i dati in un file dopo averlo creato sul cluster ho dovuto aggiungere:

System.setProperty("HADOOP_USER_NAME", "vagrant"); 

Refrence - Writing files to Hadoop HDFS using Scala