Ho letto molto su Hadoop e Map-Reduce in esecuzione su cluster di macchine. Qualcuno sa se la distribuzione di Apache può essere eseguita su un SMP con diversi core. In particolare, è possibile eseguire più processi di riduzione della mappa sulla stessa macchina. Lo scheduler si occuperà di diffonderli su più core. Grazie. - KGHadoop e map-reduce su macchine multicore
Sì. Avete cartina multipla e ridurre slot in ogni macchina che vengono determinati con la RAM e CPU (ogni istanza JVM deve 1GB di default così una macchina 8 GB con 16 core dovrebbe ancora avere 7 slot un'attività)
da hadoop wiki
Utilizzare la manopola di configurazione: mapred.tasktracker.map.tasks.maximum e mapred.tasktracker.reduce.tasks.maximum per controllare il numero di mappe/riduce spawn contemporaneamente su un TaskTracker. Per impostazione predefinita, il valore è impostato su 2, quindi si vedono un massimo di 2 mappe e 2 si riduce a un'istanza data su un TaskTracker.
È possibile impostare quelli su base per-tasktracker per riflettere con precisione l'hardware (ad esempio, impostare quelli su un numero più elevato su un tasktracker più potente ecc.).
È possibile utilizzare i framework leggeri MapReduce per computer multicore.
Per esempio
LeoTask: Un quadro MapReduce leggero, produttivo e affidabile per i computer multicore
Per Apache Hadoop 2.7.3, la mia esperienza è stata che permette FILATO consentirà inoltre supporto multi-core. Ecco una semplice guida per consentire filato su un singolo nodo:
configurazioneL'impostazione di default sembra funzionare abbastanza bene. Se si desidera ottimizzare l'utilizzo principale, è consigliabile impostare 'yarn.scheduler.minimum-allocation-vcores' e 'yarn.scheduler.maximum-allocation-vcores' all'interno di yarn-site.xml (https://hadoop.apache.org/docs/r2.7.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml)
Inoltre, vedere qui per istruzioni su come configurare una semplice sandbox Hadoop con supporto multicore: https://bitbucket.org/aperezrathke/hadoop-aee