Perché la presa dello stdin da un file differisce dal riceverlo su una pipe?

Question

Utilizzo di bash Spesso desidero ottenere le intestazioni di un file csv di grandi dimensioni e cercare il resto per una voce specifica. Lo faccio come segue.

$ (head -1; grep mike) < tmp.csv 
name,age,favourite colour 
mike,38,blue 

Ma prendendo l'input dal gatto, o qualsiasi altro comando non funziona - sembra grep non viene mai superato il resto del file.

$ cat tmp.csv | (head -1; grep mike) 
name,age,favourite colour 

Perché c'è un comportamento diverso in questi due casi?

Answer 1

La differenza tra la lettura da un tubo e la lettura da un file è che si può lseek su un file, ma non su un tubo.

Il comportamento qui appare (come visto attraverso strace) come se provenisse da head, non bash. head leggerà un buffer e troverà il numero appropriato di linee, quindi lseek all'indietro fino al punto in cui è terminata la riga dell'ultima uscita, lasciando l'handle del file aperto in quel punto. Come sopra, questo funziona se sta leggendo un file, ma non se sta leggendo da una pipe.

Non riesco a pensare di qualsiasi caso altro di quello che stai facendo, dove questo comportamento in head ha un senso, ma è così. Impara qualcosa di nuovo ogni giorno, ti dico ...

Answer 2

Non riesco a riprodurlo in modo affidabile con bash 3.2.48. Entrambi o riescono o entrambi falliscono. Ma la ragione sottostante per i fallimenti è la dimensione del file.

cat legge un buffer (4k-64k a seconda del sistema) e lo passa sul tubo. head consuma l'intero buffer e quindi esce. grep ha quindi accesso al file dopo la dimensione del buffer. Sul mio sistema, posso usare la tua pipe solo su grep oltre un buffer nel file (così posso grep cose alla fine di un file lungo, ma non all'inizio dopo l'utilizzo di head).

È possibile che le versioni successive di bash ottimizzino l'operatore < (ma non lo cat) per consentire al proprio trucco di funzionare, ma non credo che questo sia un comportamento supportato.

Answer 3

Molto strano. Si consiglia di non fare affidamento su questo comportamento non documentato, usare qualcosa come questo, invece:

sed -n '1p;/mike/p' tmp.csv