Rapidamente alfabetizza un file di grandi dimensioni tramite python

Question

#!/usr/bin/python 

import random 
import string 

appendToFile = open("appendedFile", "a") 

# Generator 

for i in range(1, 100000): 

    chars = "".join([random.choice(string.letters) for i in xrange(15)]) 
    chars2 = "".join([random.choice(string.letters) for i in xrange(15)]) 

    appendToFile.write(chars + ":" + chars2 + "\n") 

appendToFile.close() 

Codice modificato da this question.

Il codice sopra riportato genera 100.000 righe di testo casuale nel formato di STRING: STRING. Il file di testo risultante è 3,1 MB.

Come si alfabetizza rapidamente il file utilizzando la prima STRING in STRING: STRING? Il caso è irrilevante.

L'ordinamento a bolle è molto lento, no?

Answer 1

Questo è molto veloce (meno di 1 secondo sul mio computer). Usa un tipo insensibile alle maiuscole e minuscole, che presuppone cosa intendi per "caso è irrilevante"?

#!/usr/bin/python 

appendToFile = open("appendedFile", "r") 
sortToFile = open("sortedFile", "w") 

for line in sorted(appendToFile, key = str.lower): 
    sortToFile.write(line) 

Answer 2

Il primo approccio ovvio è semplicemente utilizzare la funzionalità di ordinamento incorporata in Python. Non è questo quello che avevi in ​​mente? Se no, perché? Con solo 100.000 righe di testo casuale, l'ordinamento predefinito sarebbe molto veloce.

lst = open("appendedFile", "rt").readlines() 
lst.sort(key=str.lower) 

Fatto. Potremmo farlo come un one-liner, se si voleva davvero:

lst = sorted(open("appendedFile", "rt").readlines(), key=str.lower) 

EDIT: Ho appena controllato, e strings.letters comprende sia maiuscole e minuscole. Quindi, il codice precedente viene modificato per essere sensibile al maiuscolo/minuscolo.

EDIT: più di ordinamento in Python: http://wiki.python.org/moin/HowTo/Sorting

Answer 3

Prova questo (case insensitive):

l=file(appendedFile).readlines() 
l.sort(key=lambda x:x.lower()) 

Per questi tipi di dimensioni dall'ottimizzazione non è davvero necessario (timing sulla mia macchina lenta ;-) :

christophe@orion:~$ time python -c "l=file('appendedFile').readlines();l.sort(key=lambda x:x.lower())" 

real 0m0.615s 
user 0m0.576s 
sys 0m0.024s