Perché Hadoop è strettamente legato a Linux?

Question

Sono nuovo con Hadoop. Quali sono le ragioni specifiche per cui Hadoop è così strettamente legato a Linux e il cluster su cui gira è omogeneo?

Sto cercando dettagli davvero specifici che possano dirmi perché Hadoop non funziona bene con Windows, e se ci sono alcune librerie di script specifici che sono coinvolti?

Il mio progetto è quello di distribuire Hadoop senza utilizzare Cygwin. Ho già visto l'articolo di Hayes Davis in cui spiegava come installare Hadoop senza Cygwin, ma ha detto che ci sono alcuni bug. Potrei iniziare da zero per configurare correttamente Hadoop su Windows, ma se qualcuno può spiegare quali sono, in particolare, i motivi per cui Hadoop non funziona bene su Windows che sarebbe molto utile.

Answer 1

Secondo il loro Quick Start page, non è stato ancora ben collaudato.

• GNU/Linux è supportato come piattaforma di sviluppo e produzione. Hadoop è stato dimostrato su cluster GNU/Linux con 2000 nodi.
• Win32 è supportato come piattaforma di sviluppo. L'operazione distribuita non è stata ben testata su Win32, quindi non è supportata come piattaforma di produzione .

Windows ha un supporto molto migliore gestione remota di quanto si creda, ma è ancora difficile da battere Linux quando si tratta di facilità (e prezzo) della creazione di una grande fattoria di calcolo. Questa è solo un'ipotesi, ma forse è meno probabile che i ricercatori che hanno bisogno di costruire cluster così imponenti vogliano destinare molto del loro budget alle licenze del sistema operativo.

Answer 2

Siete a conoscenza del lavoro di Hadoop su cui stanno collaborando Microsoft and Hortonworks, in pratica si stanno modificando il progetto Apache per il supporto nativo di Windows?

Il progetto è ancora in una fase di anteprima, con Hadoop on Azure è la prima parte del rollout. Questo è Hadoop in esecuzione su Windows Server 2008R2 nel cloud di Windows Azure. Sarà inoltre disponibile per l'installazione in locali per la creazione di cluster personalizzati.

Suggerirei di saperne di più e iscrivermi per il programma, dal momento che stareste ricreando ciò che hanno già trascorso anni uomo.

Answer 3

Tne risposta convalidato è a partire dal 2012. Ecco le ultime notizie dal Hadoop Wiki a partire dal 2017

• versione Hadoop 2.2 include poi il supporto nativo per Windows. Le versioni ufficiali di Apache Hadoop non includono i binari di Windows (ancora, a partire da gennaio 2014). Tuttavia, la creazione di un pacchetto Windows dai sorgenti è abbastanza semplice.