Come eseguire il clustering k-means in mahout con i dati vettoriali memorizzati come CSV?

Question

Ho un file contenente i vettori di dati, in cui ogni riga contiene un elenco di valori separati da virgole. Mi chiedo come eseguire k-means in clustering su questi dati usando il mahout. L'esempio fornito nel wiki menziona la creazione di sequenceFiles, ma in caso contrario non sono sicuro di dover eseguire qualche tipo di conversione per ottenere questi file sequenza.

Answer 1

Si consiglia di leggere manualmente le voci dal file CSV, creare NamedVectors da esse e quindi utilizzare un file writer di sequenza per scrivere i vettori in un file di sequenza. Da lì in poi, il metodo di esecuzione di KMeansDriver dovrebbe sapere come gestire questi file.

I file di sequenza codificano coppie chiave-valore, quindi la chiave sarebbe un ID del campione (dovrebbe essere una stringa) e il valore è un wrapper VectorWritable attorno ai vettori.

Ecco un esempio di codice semplice su come fare questo:

 List<NamedVector> vector = new LinkedList<NamedVector>(); 
    NamedVector v1; 
    v1 = new NamedVector(new DenseVector(new double[] {0.1, 0.2, 0.5}), "Item number one"); 
    vector.add(v1); 

    Configuration config = new Configuration(); 
    FileSystem fs = FileSystem.get(config); 

    Path path = new Path("datasamples/data"); 

    //write a SequenceFile form a Vector 
    SequenceFile.Writer writer = new SequenceFile.Writer(fs, config, path, Text.class, VectorWritable.class); 
    VectorWritable vec = new VectorWritable(); 
    for(NamedVector v:vector){ 
     vec.set(v); 
     writer.append(new Text(v.getName()), v); 
    } 
    writer.close(); 

Inoltre, vorrei raccomandare la lettura del capitolo 8 Mahout in Action. Fornisce maggiori dettagli sulla rappresentazione dei dati in Mahout.

Answer 2

forse si potrebbe usare uccello elefante di scrivere vettori in formato mahout

https://github.com/kevinweil/elephant-bird#hadoop-sequencefiles-and-pig