Come usare Mahout in un ambiente Windows?

Question

Sto cercando di utilizzare Mahout in un'applicazione in esecuzione su Windows. Voglio costruire cluster da un indice di lucene usando k-means.

Non appena devo creare file di sequenza (creando vettori da un indice di lucene), ottengo un'eccezione Hadoop, poiché Hadoop effettua chiamate da linea di comando a programmi sconosciuti in un ambiente Windows (ad esempio chmod). L'esecuzione in Cygwin non è un'opzione, dal momento che voglio essere in grado di eseguire l'app da Eclipse.

Quindi la mia domanda è

c'è un modo per evitare di dover creare file di sequenza per recuperare i miei vettori da un indice lucene?

oppure esiste un modo per creare file di sequenza in un ambiente Windows?

Answer 1

L'unico modo per eseguire Hadoop su un ambiente Windows è installare Cygwin. Per ulteriori informazioni, si veda questo post del blog:

http://hayesdavis.net/2008/06/14/running-hadoop-on-windows/

Cygwin fornirà tutte le utilità della riga di comando (come chmod), che si basa su Hadoop. Puoi comunque eseguire i tuoi lavori Hadoop da Eclipse, se lo desideri.

Answer 2

Conosci l'API SequenceFile? Date un'occhiata qui: http://hadoop.apache.org/common/docs/current/api/org/apache/hadoop/io/SequenceFile.html Potete provare a scrivere/leggere i dati da soli.

Penso che tu possa eseguire Mahout da Eclipse in Windowns in modalità standalone. Ma apparirai parecchie cortine e barriere. Dovresti provare a che punto arrivi.

Secondo me non dovresti insistere per eseguire mahout da eclissi. ;-)

Answer 3

È possibile utilizzare una macchina virtuale per eseguire l'ambiente Hadoop. Per quanto mi riguarda, la soluzione migliore è usare il progetto http://hortonworks.com/. Tutto funziona bene.