Dove sono i file jar hadoop in hadoop 2?

Sto tentando di implementare un programma di conteggio parole di esempio utilizzando Hadoop. Ho scaricato e installato Hadoop 2.0.0. Voglio fare questo programma di esempio usando Eclipse perché penso che più avanti nel mio vero progetto devo usare solo Eclipse.Dove sono i file jar hadoop in hadoop 2?

Non riesco a trovare i file jar relativi a Hadoop come hadoop-core.jar e altri file jar richiesti. Ho cercato in tutte le cartelle di 2.0 hadoop ma non ho trovato quei file. Questi stessi file sono disponibili nella versione 1.0 di Hadoop ma non nella versione 2.0. Mi piacerebbe sapere dove posso trovare questi file?

Non riesco a trovare molte informazioni sulla versione 2.0.

si prega di aiutare

fonte

2013-03-03 Shekhar

In realtà, ho affrontato un problema simile in principio. Apparentemente, non c'è il hadoop-core.jar per la versione 2. Dovrai scaricare i barattoli Hadoop Common e MapReduce Client Core e usarli entrambi. Sono sicuro che risolverà i tuoi problemi. Spero che questo ti aiuti!

Edit: Ho appena aggiornato i link in modo che le persone possono scegliere la versione appropriata dal repository dal momento che ora arriviamo strada oltre la versione iniziale 2.

fonte

2013-03-04 12:54:50 aa8y

Che dire di librerie dipendenti? Causa gli errori di runtime in un secondo momento: http://stackoverflow.com/questions/20763553/hadoop-2-0-jar-files. –

@IgorSevo Penso che potrebbe essere necessario aggiungere alcune librerie dipendenti, ma la domanda non l'ha chiesto. Inoltre, se si utilizza 'Gradle' per la gestione delle dipendenze, esso include automaticamente le librerie dipendenti e il codice funziona perfettamente con i due vasi precedenti. – aa8y

come indicato nella seguente risposta. Saranno disponibili a $ {HADOOP_HOME}/share/hadoop/common' e '$ {HADOOP_HOME}/share/hadoop/mapreduce' –

Compreso JAR in cartelle elencate di seguito funzionato per me:

share\hadoop\common  
share\hadoop\common\lib 
share\hadoop\mapreduce  
share\hadoop\mapreduce\lib 
share\hadoop\yarn   
share\hadoop\yarn\lib

fonte

2014-05-24 13:14:59 Anonymous

Le barre devono essere inoltrate !! –

Hadoop-core - $ {} HADOOP_VERSION .jar è in

${HADOOP_HOME}/share/hadoop/common

directory, non $ {HADOO P_HOME} directory.

fonte

2015-02-04 00:11:07

$ {HADOOP_HOME}/share/hadoop/common –

risposta semplice e buona. Upvoted. –

questo funziona per me su Mac su Hadoop 2.6.0:

hadoop/2.6.0/libexec/share/hadoop/common/hadoop-common-2.6.0.jar

o semplicemente cercare ".jar" nella directory Hadoop, è possibile vedere tutti i file .jar.

fonte

2015-03-18 05:14:29 Yimihua

hadoop-core-{version}.jar diventato hadoop-common-{version}.jar iniziando con Hadoop 2+

fonte

2016-02-16 17:51:10

-1

Al di sotto posizione si può trovare la cartella denominata dalla distribuzione cui è stato installato, all'interno che c'è una cartella barattolo. /opt/Cloudera/pacchi/[distribuzione Cloudera]/vasetti/

Esempio: /opt/cloudera/parcels/CDH-5.4.10/jars

fonte

2016-05-18 14:39:22 Ankush

Su Hadoop 2.7.2, ho dovuto impostare come HADOOP_COMMON_HOME.

fonte

2017-07-20 06:27:26 Henry