trattamento dei dati in modo efficiente in file di testo

Question

lascia supporre Ho un (testo) file con la seguente struttura (nome, punteggio):

a   0 
a   1 
b   0 
c   0 
d   3 
b   2 

E così via. Il mio obiettivo è di sommare i punteggi per ogni nome e ordinarli dal punteggio più alto al punteggio più basso. Quindi, in questo caso, desidero il seguente output:

d   3 
b   2 
a   1 
c   0 

In anticipo non so quali nomi saranno nel file.

Mi chiedevo se esiste un modo efficace per farlo. Il mio file di testo può contenere fino a 50.000 voci.

L'unico modo in cui riesco a pensare è solo iniziare dalla riga 1, ricordare quel nome e poi andare su tutto il file per cercare quel nome e la somma. Questo sembra orribilmente inefficiente, quindi mi chiedevo se c'è un modo migliore per farlo.

Answer 1

leggere tutti i dati in un dizionario:

from collections import defaultdict 
from operator import itemgetter 

scores = defaultdict(int) 
with open('my_file.txt') as fobj: 
    for line in fobj: 
     name, score = line.split() 
     scores[name] += int(score) 

e la selezione:

for name, score in sorted(scores.items(), key=itemgetter(1), reverse=True): 
    print(name, score) 

stampe:

d 3 
b 2 
a 1 
c 0 

prestazioni

per controllare le prestazioni di questa risposta vs. quello di @SvenMarnach, ho inserito entrambi gli approcci in una funzione. Qui fobj è un file aperto per la lettura. Io uso io.StringIO ritardi così IO dovrebbe, si spera, non possono essere misurati:

from collections import Counter 

def counter(fobj): 
    scores = Counter() 
    fobj.seek(0) 
    for line in fobj: 
     key, score = line.split() 
     scores.update({key: int(score)}) 
    return scores.most_common() 

from collections import defaultdict 
from operator import itemgetter 

def default(fobj): 
    scores = defaultdict(int) 
    fobj.seek(0) 
    for line in fobj: 
     name, score = line.split() 
     scores[name] += int(score) 
    return sorted(scores.items(), key=itemgetter(1), reverse=True) 

Risultati per collections.Counter:

%timeit counter(fobj) 
10000 loops, best of 3: 59.1 µs per loop 

Risultati per collections.defaultdict:

%timeit default(fobj) 
10000 loops, best of 3: 15.8 µs per loop 

Sembra defaultdict è quattro volte Più veloce. Non avrei immaginato questo. Ma quando si tratta di prestazioni, è necessario misurare .

Answer 2

Questo è un buon caso d'uso per collections.Counter:

from collections import Counter 

scores = Counter() 
with open('my_file') as f: 
    for line in f: 
     key, score = line.split() 
     scores.update({key: int(score)}) 

for key, score in scores.most_common(): 
    print(key, score) 

Answer 3

Pandas può fare questo abbastanza facilmente:

import pandas as pd 
data = pd.read_csv('filename.txt', names=['Name','Score']) 
sorted = data.groupby('Name').sum().sort_values('Score', ascending=False) 
print sorted