HDFS da Java - Indicazione degli utenti

Question

Sono felicemente la connessione a HDFS e messa in vendita la mia home directory:

Configuration conf = new Configuration(); 
conf.set("fs.defaultFS", "hdfs://hadoop:8020"); 
conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem"); 
FileSystem fs = FileSystem.get(conf); 
RemoteIterator<LocatedFileStatus> ri = fs.listFiles(fs.getHomeDirectory(), false); 
while (ri.hasNext()) { 
    LocatedFileStatus lfs = ri.next(); 
    log.debug(lfs.getPath().toString()); 
} 
fs.close(); 

Quello che sto volendo fare ora però è collegare come utente specifico (non l'utente whois). Qualcuno sa come si specifica quale utente si connette?

Answer 1

Non appena vedo questa operazione viene effettuata tramite la classe UserGroupInformation e PrivilegedAction o PrivilegedExceptionAction. Ecco un codice di esempio per connettersi a HDFS remoto "come" utente diverso ("hbase" in questo caso). Spero che questo risolva il tuo compito. Nel caso in cui sia necessario uno schema completo con autenticazione, è necessario migliorare la gestione degli utenti. Ma per lo schema di autenticazione SIMPLE (in realtà nessuna autenticazione) funziona perfettamente.

package org.myorg; 

import java.security.PrivilegedExceptionAction; 

import org.apache.hadoop.conf.*; 
import org.apache.hadoop.security.UserGroupInformation; 
import org.apache.hadoop.fs.Path; 
import org.apache.hadoop.fs.FileSystem; 
import org.apache.hadoop.fs.FileStatus; 

public class HdfsTest { 

    public static void main(String args[]) { 

     try { 
      UserGroupInformation ugi 
       = UserGroupInformation.createRemoteUser("hbase"); 

      ugi.doAs(new PrivilegedExceptionAction<Void>() { 

       public Void run() throws Exception { 

        Configuration conf = new Configuration(); 
        conf.set("fs.defaultFS", "hdfs://1.2.3.4:8020/user/hbase"); 
        conf.set("hadoop.job.ugi", "hbase"); 

        FileSystem fs = FileSystem.get(conf); 

        fs.createNewFile(new Path("/user/hbase/test")); 

        FileStatus[] status = fs.listStatus(new Path("/user/hbase")); 
        for(int i=0;i<status.length;i++){ 
         System.out.println(status[i].getPath()); 
        } 
        return null; 
       } 
      }); 
     } catch (Exception e) { 
      e.printStackTrace(); 
     } 
    } 
} 

Answer 2

Se ti ho corretto, tutto quello che vuoi è ottenere la directory home dell'utente se specificato e non l'utente whois.

Nel file di configurazione, impostare la proprietà homedir su user/$ {user.name}. Assicurati di avere una proprietà di sistema denominata user.name

Questo ha funzionato nel mio caso.

Spero che questo sia quello che vuoi fare, Se non aggiungi un commento.