Sto usandohdfs dfs -put con sovrascrittura?
hdfs dfs -put myfile mypath
e per alcuni file ottengo
put: 'myfile': File Exists
Grazie!
put: 'myfile': File Exists
Rimedi il file denominato "myfile" esiste già in HDFS. Non è possibile avere più file con lo stesso nome in HDFS
È possibile sovrascrivere utilizzando hadoop fs -put -f /path_to_local /path_to_hdfs
AFAIK, non possiamo sovrascrivere i file presenti in hdf, ed è per questo che hadoop è noto per la proprietà "write once read multiple". Ho sbagliato?? – Sumit
@ user007, è possibile eliminare file e creare un nuovo file con lo stesso nome, sovrascrivere. E in alcuni casi è possibile aggiungere dati alla fine del file ma solo alla fine. Append è disponibile solo in versione hadoop che lo include ed è necessario per HBase e altri framworks. – RojoSam
È possibile sovrascrivere il file in HDFS usando -f esempio command.For
hadoop fs -put -f <localfile> <hdfsDir>
O
hadoop fs -copyFromLocal -f <localfile> <hdfsDir>
ha funzionato bene per me. Tuttavia, il comando -f non funzionerà in caso di comando get o copyToLocal. check this question
grazie! molto utile. faccio verificare se il trasferimento è andato a buon fine? diciamo che avvio hdfs put e chiudo la mia console. hdfs ha ora qualche file corrotto? –
Per verificare se il file copiato è corretto (rispetto alla dimensione) o meno, è possibile utilizzare hdfs dfs -ls/filename. Mostrerà la dimensione del file in byte, insieme ad altre informazioni. @ Noobie – Sumit
Quindi 'hdfs dfs -put -f input output' non funziona? Ho trovato fonti che dice che fa –