zip() alternativa per iterare attraverso due iterables

Question

Ho due grandi file di testo (~ 100 GB) che devono essere ripetuti simultaneamente.

Zip funziona bene per i file più piccoli, ma ho scoperto che in realtà sta facendo un elenco di linee dai miei due file. Ciò significa che ogni riga viene archiviata nella memoria. Non ho bisogno di fare nulla con le linee più di una volta.

handle1 = open('filea', 'r'); handle2 = open('fileb', 'r') 

for i, j in zip(handle1, handle2): 
    do something with i and j. 
    write to an output file. 
    no need to do anything with i and j after this. 

Esiste un'alternativa a zip() che agisce come un generatore che mi permetterà di scorrere questi due file senza l'utilizzo> 200 GB di ram?

Answer 1

itertools ha una funzione izip che lo fa

from itertools import izip 
for i, j in izip(handle1, handle2): 
    ... 

Se i file sono di dimensioni diverse è possibile utilizzare izip_longest, come izip si fermerà al file più piccolo.

Answer 2

Qualcosa di simile? Wordy, ma sembra essere quello che stai chiedendo.

Può essere regolato per fare cose come una fusione adeguata per abbinare le chiavi tra i due file, che è spesso più ciò che è necessario rispetto alla semplice funzione di zip. Inoltre, questo non troncare, che è ciò che l'algoritmo SQL OUTER JOIN fa, ancora una volta, diverso da ciò che fa zip e più tipico dei file.

with open("file1","r") as file1: 
    with open("file2", "r" as file2: 
     for line1, line2 in parallel(file1, file2): 
      process lines 

def parallel(file1, file2): 
    if1_more, if2_more = True, True 
    while if1_more or if2_more: 
     line1, line2 = None, None # Assume simplistic zip-style matching 
     # If you're going to compare keys, then you'd do that before 
     # deciding what to read. 
     if if1_more: 
      try: 
       line1= file1.next() 
      except StopIteration: 
       if1_more= False 
     if if2_more: 
      try: 
       line2= file2.next() 
      except StopIteration: 
       if2_more= False 
     yield line1, line2 

Answer 3

Se si desidera troncare il file più breve:

handle1 = open('filea', 'r') 
handle2 = open('fileb', 'r') 

try: 
    while 1: 
     i = handle1.next() 
     j = handle2.next() 

     do something with i and j. 
     write to an output file. 

except StopIteration: 
    pass 

finally: 
    handle1.close() 
    handle2.close() 

Else

handle1 = open('filea', 'r') 
handle2 = open('fileb', 'r') 

i_ended = False 
j_ended = False 
while 1: 
    try: 
     i = handle1.next() 
    except StopIteration: 
     i_ended = True 
    try: 
     j = handle2.next() 
    except StopIteration: 
     j_ended = True 

     do something with i and j. 
     write to an output file. 
    if i_ended and j_ended: 
     break 

handle1.close() 
handle2.close() 

O

handle1 = open('filea', 'r') 
handle2 = open('fileb', 'r') 

while 1: 
    i = handle1.readline() 
    j = handle2.readline() 

    do something with i and j. 
    write to an output file. 

    if not i and not j: 
     break 
handle1.close() 
handle2.close() 

Answer 4

È possibile utilizzare izip_longest come questo per padil file più breve con righe vuote

in pitone 2,6

from itertools import izip_longest 
with handle1 as open('filea', 'r'): 
    with handle2 as open('fileb', 'r'): 
     for i, j in izip_longest(handle1, handle2, fillvalue=""): 
      ... 

o in python3.1

from itertools import izip_longest 
with handle1 as open('filea', 'r'), handle2 as open('fileb', 'r'): 
    for i, j in izip_longest(handle1, handle2, fillvalue=""): 
     ... 

Answer 5

Per python3, izip_longest è in realtà zip_longest.

from itertools import zip_longest 

for i, j in izip(handle1, handle2): 
    ...