Stampa di progresso dettagliato da sed e awk

Question

I programmi sed e awk di solito svolgono il loro lavoro in silenzio. C'è un modo per ottenere questi programmi per dichiarare quello che stanno facendo?

Answer 1

Se stai reindirizzando l'output di sed o awk in un file (invece di modificare i file sul posto) si può dare pv ("spettatore pipe") un colpo:

sed -e '...' input.txt | pv > output.txt 

È possibile utilizzare pv -l per farlo riportare l'avanzamento nelle righe scritte. Lo stato di avanzamento viene stampato su stderr mentre i dati effettivi navigano da stdin a stdout.

Answer 2

Si può sempre dire awk per stampare il record di input, cioè

awk '{ 
     print "#dbg:$0="$0 
     # do more stuff 
     print $1 
     # or make it conditional 
     if ($0 ~ /specialRegEx/){ 
       print "#dbg:$0="$0 
     } 
     }' infile 

Con sed, si utilizza la 'p' cmd per stampare ogni linea, anche se, il valore predefinito è quello di stampare ogni linea. Qualcosa come

sed 'p 
     # also "=" prints line # being processed 
     = 
     /specialRegEx/{ 
     s/xxx/yyy/ 
     p 
     }' infile 

Spero che questo aiuti.

Answer 3

Questo potrebbe funzionare per voi (per sed):

sed -i 's/foo/bar/;w /dev/stdout' files* 

Answer 4

Se siete su Linux, è possibile visualizzare l'avanzamento del processo che sta elaborando un file di grandi dimensioni, cercando in /proc/<pid>/fdinfo. C'è una voce per ogni descrittore di file aperto, e se si catcha le voci, esse mostrano la posizione di lettura/scrittura del descrittore di file. Quindi puoi vedere che sei 1123456 byte nel file. I nomi dei percorsi dei file aperti si trovano in un'altra area: /proc/<pid>/fd, rappresentati come collegamenti simbolici.

Prima di dare un'occhiata, di solito allego un strace al processo: strace -p <pid>. È possibile utilizzarlo per osservare le chiamate di sistema eseguite dal processo: letture e scritture di file e allocazioni di memoria con brk o mmap.

Answer 5

Partendo dal presupposto che si sta eseguendo il piping dell'output di sed su un file, è possibile utilizzare il comando tail (in un altro terminale) per esaminare costantemente la fine del file; in modo tale da poter vedere i progressi.

tail -f output_from_sed.txt 

Answer 6

Questo potrebbe non essere esattamente quello che stai cercando, ma potrebbe aiutare qualcun altro. FWIW:
gawk -W dump-variables=/tmp/awk.log
eseguirà il dump dei valori delle variabili alla fine dello script nel file di registro.

Answer 7

Questo è basato sulla risposta di Potong. Il seguente codice sostituisce "ll" con "zz", crea un file di backup, visualizza il nuovo testo e scrive le modifiche nel file.

$ echo hello > test 
$ sed -e 's/ll/zz/;w /dev/stdout' -i .backup test 
hezzo 
$ cat test 
hezzo 
$ cat test.backup 
hello 

Answer 8

Il "diritto" risposta qui è

pv myfile.txt | sed ... 

risposta di Eduardo Ivanec era vicino, ma utilizzando lo spettatore tubo (pv) per fare le tubazioni vero e proprio, si arriva a sapere che cosa il vostro progresso è nel file (come percentuale, includendo fantastiche statistiche come M/sec, dati totali, ecc.).

pv opere come cat (leggere il file ed esportarlo direttamente a stdout, o, nel caso di tubazioni in, è un ponte tra stdin e stdout).

Importante, dal momento che pv è un "processo di tubo trasparente", lo stdout è occupato con i dati di inoltro. Quindi il report sull'avanzamento viene segnalato tramite stderr.