Sono recente per Hadoop, e voglio sapere che cosa è la differenza tra Hadoop-comune, Hadoop-core e Hadoop-client?Differenze tra Hadoop-common, Hadoop-core e Hadoop-client?
A proposito, per una determinata classe, come faccio a sapere quale artefice lo contiene in Maven? Ad esempio, quale contiene lo org.apache.hadoop.io.Text?
Per creare un'applicazione di riduzione della mappa Hadoop è necessario solo la dipendenza client di hadoop. (Usa nuova API). Dipendenze come hadoop-hdf, hadoop-common, hadoop-clientapp, hadoop-yarn-api sono risolte da questo.
Per offrire alcuni dettagli aggiuntivi riguardanti le differenze tra Hadoop-common, Hadoop-core e Hadoop-client, dal punto di vista di alto livello:
In generale, per gli sviluppatori che creano app che inviano a YARN, eseguire un lavoro MR o accedere a file da HDFS utilizzare librerie client Hadoop.
ottima risposta @anthony. – redTiger
Da techopedia
Hadoop Commonsi riferisce alla raccolta di utilità e librerie comuni che supportano altri moduli Hadoop. È una parte o un modulo essenziale del framework Apache Hadoop, insieme al file system distribuito Hadoop (HDFS), Hadoop YARN e Hadoop MapReduce.
Come tutti gli altri moduli, Hadoop Common presuppone che guasti hardware sono comuni e che dovrebbero essere gestite automaticamente nel software del quadro Hadoop.
Hadoop Common è anche noto come Hadoop Core.
Hadoop Client libraries aiuta a caricare i dati nel cluster, invia Mappa Riduci i lavori che descrivono come devono essere elaborati i dati, quindi recupera o visualizza i risultati del lavoro al termine. Date un'occhiata a questo article
Questo collegamento Apache fornisce l'elenco delle dipendenze della libreria client Hadoop.
Nel 'file di pom' del' hadopp-Client', ho trovato solo ha dipendenza del ' org.apache.hadoop Hadoop-core '. E per 'hadoop-core', sembra che non abbia alcuna dipendenza dalle cose' hadoop- * '. Si prega di spiegare in dettaglio. –
chenzhongpu
Vedere la scheda dell'albero delle dipendenze del tuo file pom. In modo che tu possa vedere quale tutte le dipendenze sono risolte da esso. – Sachin