Esegue l'elaborazione parallela in bash?

Question

Ho migliaia di file PNG che mi piace rendere più piccoli con pngcrush. Ho un semplice lavoro find .. -exec, ma è sequenziale. La mia macchina ha un bel po 'di risorse e lo farei in parallelo.

L'operazione da eseguire su ogni png è:

pngcrush input output && mv output input 

Idealmente mi possibile specificare il numero massimo di operazioni parallele.

C'è un modo per farlo con bash e/o altri helper di shell? Sono Ubuntu o Debian.

Answer 1

È possibile utilizzare xargs per eseguire più processi in parallelo:

find /path -print0 | xargs -0 -n 1 -P <nr_procs> sh -c 'pngcrush $1 temp.$$ && mv temp.$$ $1' sh 

xargs leggerà l'elenco dei file prodotti da find (separati da 0 caratteri (-0)) ed eseguire il comando in dotazione (sh -c '...' sh) con un parametro alla volta (-n 1). xargs eseguirà <nr_procs> (-P <nr_procs>) in parallelo.

Answer 2

È possibile utilizzare personalizzato find/xargs soluzioni (vedi risposta Bart Sas'), ma quando le cose diventano più complesse avete -A ai minimi di due potenti opzioni:

1. parallel (dal pacchetto moreutils)
2. GNU parallel

Answer 3

Con GNU parallelo http://www.gnu.org/software/parallel/ si può fare come:

find /path -print0 | parallel -0 pngcrush {} {.}.temp '&&' mv {.}.temp {} 

saperne di più:

• Guarda il video introduttivo per una breve introduzione: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1
• Passeggiata attraverso il tutorial (uomo parallel_tutorial). La linea di comando ti amerà per questo.