Come scrivere Mappa/Ridurre le attività in Golang?

Question

Mi piacerebbe scrivere Hadoop Map/Ridurre i lavori in Go (e non l'API Streaming!).

Ho cercato di ottenere una comprensione di hortonworks/gohadoop e colinmarc/hdfs ma non riesco ancora a vedere come scrivere lavori per davvero. Ho cercato su codici github importando questi moduli ma non c'è nulla di rilevante in apparenza.

C'è qualche WordCount.go da qualche parte?

Answer 1

Ecco una semplice implementazione di Map/Reduce scritto in Golang (disponibile presso GitHub):

https://github.com/dbravender/go_mapreduce

Answer 2

Questo github: https://github.com/vistarmedia/gossamr è un buon esempio per iniziare ad utilizzare un lavoro golang su Hadoop:

Jist:

package main 

import (
    "log" 
    "strings" 

    "github.com/vistarmedia/gossamr" 
) 

type WordCount struct{} 

func (wc *WordCount) Map(p int64, line string, c gossamr.Collector) error { 
    for _, word := range strings.Fields(line) { 
    c.Collect(strings.ToLower(word), int64(1)) 
    } 
    return nil 
} 

func (wc *WordCount) Reduce(word string, counts chan int64, c gossamr.Collector) error { 
    var sum int64 
    for v := range counts { 
    sum += v 
    } 
    c.Collect(sum, word) 
    return nil 
} 

func main() { 
    wordcount := gossamr.NewTask(&WordCount{}) 

    err := gossamr.Run(wordcount) 
    if err != nil { 
    log.Fatal(err) 
    } 
} 

Dando il via lo script:

./bin/hadoop jar ./contrib/streaming/hadoop-streaming-1.2.1.jar \ 
    -input /mytext.txt \ 
    -output /output.15 \ 
    -mapper "gossamr -task 0 -phase map" \ 
    -reducer "gossamr -task 0 -phase reduce" \ 
    -io typedbytes \ 
    -file ./wordcount 
    -numReduceTasks 6