GROUP BY/SUM da shell

Question

Ho un file di grandi dimensioni che contiene i dati in questo modo:

a 23 
b 8 
a 22 
b 1 

voglio essere in grado di ottenere questo:

a 45 
b 9 

posso prima ordinare questo file e poi fallo in Python eseguendo una scansione del file una volta. Che cosa è un buon modo diretto da linea di comando per farlo?

Answer 1

awk '{ 
    arr[$1]+=$2 
    } 
    END { 
    for (key in arr) printf("%s\t%s\n", key, arr[key]) 
    }' file \ 
    | sort +0n -1 

Spero che questo aiuti.

Answer 2

Non c'è bisogno di awk qui, o anche specie - se si dispone di Bash 4.0, è possibile utilizzare gli array associativi:

#!/bin/bash 
declare -A values 
while read key value; do 
    values["$key"]=$(($value + ${values[$key]:-0})) 
done 
for key in "${!values[@]}"; do 
    printf "%s %s\n" "$key" "${values[$key]}" 
done 

... o, se si ordina prima il file (che saranno più efficiente in termini di memoria, GNU sort è in grado di eseguire trucchi per ordinare file più grandi della memoria, che in genere uno script ingenuo - sia in awk, python o shell - non è possibile farlo in un modo che funzioni in le versioni più vecchie (mi aspetto che la segue per lavorare attraverso bash 2.0):

#!/bin/bash 
read cur_key cur_value 
while read key value; do 
    if [[ $key = "$cur_key" ]] ; then 
    cur_value=$((cur_value + value)) 
    else 
    printf "%s %s\n" "$cur_key" "$cur_value" 
    cur_key="$key" 
    cur_value="$value" 
    fi 
done 
printf "%s %s\n" "$cur_key" "$cur_value" 

Answer 3

Un modo utilizzando perl:

perl -ane ' 
    next unless @F == 2; 
    $h{ $F[0] } += $F[1]; 
    END { 
     printf qq[%s %d\n], $_, $h{ $_ } for sort keys %h; 
    } 
' infile 

Contenuto infile:

a 23 
b 8 
a 22 
b 1 

uscita:

a 45 
b 9 

Answer 4

Con GNU awk (versioni meno di 4):

WHINY_USERS= awk 'END { 
    for (E in a) 
    print E, a[E] 
    } 
{ a[$1] += $2 }' infile 

Con GNU awk> = 4:

awk 'END { 
    PROCINFO["sorted_in"] = "@ind_str_asc" 
    for (E in a) 
    print E, a[E] 
    } 
{ a[$1] += $2 }' infile 

Answer 5

Questo Perl one-liner sembra fare il lavoro:

perl -nle '($k, $v) = split; $s{$k} += $v; END {$, = " "; foreach $k (sort keys %s) {print $k, $s{$k}}}' inputfile 

Answer 6

Ciò può essere ottenuto facilmente con la seguente singolo-liner:

cat /path/to/file | termsql "SELECT col0, SUM(col1) FROM tbl GROUP BY col0" 

Or.

termsql -i /path/to/file "SELECT col0, SUM(col1) FROM tbl GROUP BY col0" 

Qui un pacchetto Python, termsql, viene utilizzato, che è un involucro intorno SQLite. Si noti, che attualmente non è caricare a PyPI, e anche può essere installato solo a livello di sistema (setup.py è un po 'rotto), come:

sudo pip install https://github.com/tobimensch/termsql/archive/master.zip