diff due grandi file in Python

Question

Ho due grandi file di testo, ciascuno vicino a 2 GB. Mi serve qualcosa come diff f1.txt f2.txt. C'è un modo per fare questo compito veloce in Python? Lo standard difflib è troppo lento. Presumo che ci sia un modo più veloce, perché difflib è completamente implementato in Python.

Answer 1

Come utilizzare difflib in modo che lo script possa gestire file di grandi dimensioni? Non caricare i file in memoria, ma scorrere i file dei file e diff in blocchi. Ad esempio, 100 righe alla volta.

import difflib 

d = difflib.Differ() 

f1 = open('bigfile1') 
f2 = open('bigfile2') 

b1 = [] 
b2 = [] 

for n, lines in enumerate(zip(f1,f2)): 
    if not (n % 100 == 0): 
     b1.append(lines[0]) 
     b2.append(lines[1]) 
    else: 
     diff = d.compare("".join(b1), "".join(b2)) 
     b1 = [] 
     b2 = [] 
     print ''.join(list(diff)) 

diff = d.compare("".join(b1), "".join(b2)) 
print ''.join(list(diff)) 
f1.close() 
f2.close()