Python per-loop look-ahead

Question

Ho un python per loop, nel quale ho bisogno di guardare avanti un elemento per vedere se è necessario eseguire un'azione prima dell'elaborazione.

for line in file: 
    if the start of the next line == "0": 
     perform pre-processing 
     ... 
    continue with normal processing 
    ... 

C'è un modo semplice per farlo in python? Il mio attuale approccio è quello di bufferizzare il file su un array, tuttavia questo non è l'ideale in quanto il file è piuttosto grande.

Answer 1

è possibile ottenere qualsiasi iterabile di prefetch voce successiva con questa ricetta: l'utilizzo

from itertools import tee, islice, izip_longest 
def get_next(some_iterable, window=1): 
    items, nexts = tee(some_iterable, 2) 
    nexts = islice(nexts, window, None) 
    return izip_longest(items, nexts) 

Esempio:

for line, next_line in get_next(myfile): 
    if next_line and next_line.startswith("0"): 
     ... do stuff 

Il codice consente di passare il parametro window come un valore più grande, se si vuoi guardare 2 o più linee avanti.

Answer 2

È possibile avere un prev_line in cui si memorizza la riga precedente ed elaborarla ogni volta che si legge una riga solo in base alle proprie condizioni.

Qualcosa di simile:

prev_line = None 
for line in file: 
    if prev_line is not None and the start of the next line == "0": 
     perform pre-processing on prev_line 
     ... 
    continue with normal processing 
    ... 
    prev_line = line 

Potrebbe essere necessario fare ulteriori elaborazioni per l'ultima riga, se necessario, a seconda della logica.

Answer 3

È sufficiente memorizzare una riga nel buffer.

for line in file: 
    if (prevLine is not None): 
    //test line as look ahead and then act on prevLine 
    prevLine = line 

Answer 4

Non sono un esperto di Python ma immagino che sia necessario utilizzare 2 cicli per questo. La prima esecuzione del ciclo for dovrebbe creare un elenco di indici per i quali è necessario eseguire un'operazione speciale. Quindi, nel secondo passaggio, è possibile confrontare l'indice corrente con il proprio elenco per determinare se è necessario eseguire tale operazione speciale.

Answer 5

Anche questo dovrebbe funzionare. Preferisco sempre chiamare next per impostare il something = None per il primo round.

prev_line = next(the_file) 
for current_line in the_file: 
    if current_line.startswith('0'): 
     do_stuff(prev_line) 
    # continue with normal processing 
    # ... 
    prev_line = current_line 

Answer 6

Lungo le linee di risposta di nosklo, tendo a usare il seguente schema:

La funzione pairwise dalla eccellente itertools recipes è ideale per questo:

from itertools import tee 

def pairwise(iterable): 
    "s -> (s0,s1), (s1,s2), (s2, s3), ..." 
    a, b = tee(iterable) 
    next(b, None) 
    return izip(a, b) 

Usandolo nel codice ci ottiene:

for line, next_line in pairwise(file): 
    if next_line.startswith("0"): 
     pass #perform pre-processing 
     #... 
    pass #continue with normal processing 

In genere, per questo tipo di p rocessing (lookahead nel iterable), tendo ad usare un window function. Pairwise è un caso speciale di una finestra di dimensioni 2.

Answer 7

more_itertools ha diversi lookahead tools. Qui mostreremo alcuni strumenti e una funzione astratta per l'elaborazione di linee di un file.Dato:

f = """\ 
A 
B 
C 
0 
D\ 
""" 
lines = f.splitlines() 

Codice

import more_itertools as mit 


def iter_lookahead(iterable, pred): 
    # Option 1 
    p = mit.peekable(iterable) 
    try: 
     while True: 
      line = next(p) 
      next_line = p.peek() 
      if pred(next_line): 
       # Do something 
       pass 
      else: 
       print(line) 
    except StopIteration: 
     return 


pred = lambda x: x.startswith("0") 
iter_lookahead(lines, pred) 

uscita

A 
B 
0 

---

Qui ci sono altre opzioni che utilizzano la stessa libreria che includono pairwise e windowed strumenti menzionati da @Muhammad Alkarouri.

# Option 2 
for line, next_line in mit.pairwise(lines): 
    if pred(next_line):    
     # Do something 
     pass 
    else: 
     print(line) 

# Option 3 
for line, next_line in mit.windowed(lines, 2): 
    if pred(next_line):    
     # Do something 
     pass 
    else: 
     print(line) 

Queste ultime opzioni possono essere eseguite indipendentemente o sostituire la logica nella funzione precedente.