Sto eseguendo hadoop con configurazione predefinita con cluster a nodo singolo e vorrei trovare dove HDFS memorizza i file localmente.Dove HDFS archivia i file localmente per impostazione predefinita?
Qualche idea?
Grazie.
Hai bisogno di guardare nel vostro HDFS-default.xml file di configurazione per l'impostazione dfs.data.dir. L'impostazione predefinita è: $ {hadoop.tmp.dir}/dfs/data e si noti che $ {hadoop.tmp.dir} è in realtà in core-default.xml descritto here.
Le opzioni di configurazione sono descritte here. La descrizione di questa impostazione è:
determina dove sul file system locale di un nodo di dati DFS dovrebbe memorizzare i blocchi. Se si tratta di un elenco di directory delimitato da virgole , , i dati verranno archiviati in tutte le directory denominate , in genere su diversi dispositivi . Le directory che non esistono vengono ignorate.
come "risposta più recente" e di chiarire i numeri di versione Hadoop:
Se si utilizza Hadoop 1.2.1 (o qualcosa di simile), la risposta di nullità @Binary è ancora vero.
Ma se si utilizza Hadoop 2.1.0-beta (o qualcosa di simile), si dovrebbe leggere la documentazione di configurazione here e l'opzione che si desidera impostare è: dfs.datanode.data.dir
Esegui questo nel cmd pronta, e si otterrà la posizione DHFS:
bin/hadoop fs -ls
Come presentato, questo comando dà solo un errore. E hai corretto il comando, non avrebbe affatto risposto alla domanda originale, -ls non ti aiuterà in questo senso. – derekv
Sembra come per la versione attuale (2.7.1) il dir è
/tmp/hadoop-${user.name}/dfs/data
Sulla base di dfs.datanode.data.dir, hadoop.tmp.dir impostazione da: http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/core-default.xml
Il link è rotto – mortonjt
questo link è rotto :( –
qual è il valore di default di 'hadoop.tmp.dir'? – chenzhongpu