Python: leggere un numero enorme di righe dallo stdin

Question

Sto provando a leggere un'enorme quantità di righe dallo standard input con python.

more hugefile.txt | python readstdin.py 

Il problema è che il programma si blocca non appena ho letto una sola riga.

print sys.stdin.read(8) 
exit(1) 

Questo stampa i primi 8 byte ma poi mi aspetto che termini, ma non lo fa mai. Penso che non si tratta solo di leggere i primi byte, ma di cercare di leggere l'intero file in memoria.

stesso problema con sys.stdin.readline()

quello che voglio fare è, naturalmente, di leggere tutte le linee, ma con un buffer in modo che io non esaurire la memoria.

sto usando Python 2.6

Answer 1

Questo dovrebbe funzionare in modo efficiente in un Python moderna:

import sys 

for line in sys.stdin: 
    # do something... 
    print line, 

È quindi possibile eseguire lo script come questo:

python readstdin.py < hugefile.txt 

Answer 2

Back in the day, you had to use xreadlines to get efficient huge line-at-a-time IO - e la documentazione ora chiedere di utilizzare for line in file.

Naturalmente, questo è di assistenza solo se si sta effettivamente lavorando sulle linee una alla volta. Se stai leggendo grandi blob binari per passare a qualcos'altro, allora il tuo altro meccanismo potrebbe essere altrettanto efficiente.