Come (banalmente) parallelizzare con la shell di Linux avviando un'attività per core Linux?

Question

Le CPU odierne comprendono in genere diversi core fisici. Questi potrebbero anche essere multi-thread in modo che il kernel di Linux veda un numero piuttosto elevato di core e di conseguenza inizi più volte lo scheduler di Linux (uno per ogni core). Quando si eseguono più attività su un sistema Linux, lo scheduler ottiene normalmente una buona distribuzione del carico di lavoro totale su tutti i core Linux (potrebbe essere lo stesso nucleo fisico).

Ora, ad esempio, ho un numero elevato di file da elaborare con lo stesso eseguibile. Io di solito faccio con il comando "find":

find <path> <option> <exec> 

Tuttavia, questo inizia un solo compito, in qualsiasi momento e attende fino al suo completamento prima di avviare l'operazione successiva. Pertanto, solo un core in qualsiasi momento è in uso per questo. Ciò lascia la maggior parte dei core inattivi (se questo comando di ricerca è l'unica attività in esecuzione sul sistema). Sarebbe molto meglio avviare N task nello stesso tempo. Dove N è il numero di core visti dal kernel di Linux.

Esiste un comando che lo farebbe?

Answer 1

Utilizzare find con l'opzione -print0. Condurlo a xargs con l'opzione -0. xargs accetta anche l'opzione -P per specificare un numero di processi. -P deve essere utilizzato in combinazione con -n o -L.

Leggi man xargs per ulteriori informazioni.

Un comando di esempio: find . -print0 | xargs -0 -P4 -n4 grep searchstring

Answer 2

Se avete GNU Parallel http://www.gnu.org/software/parallel/ installato si può fare questo:

find | parallel do stuff {} --option_a\; do more stuff {} 

È possibile installare GNU parallelo semplicemente:

wget http://git.savannah.gnu.org/cgit/parallel.git/plain/src/parallel 
chmod 755 parallel 
cp parallel sem 

Guarda il video introduttivi per GNU Parallelo per saperne di più: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

Answer 3

Gnu parallel o xargs -P è probabilmente un modo migliore per gestirlo, ma è possibile anche scrivere una sorta di framework multi-tasking in bash. È un po 'disordinato e inaffidabile, tuttavia, a causa della mancanza di alcune strutture.

#!/bin/sh 

MAXJOBS=3 
CJ=0 
SJ="" 

gj() { 
    echo ${1//[][-]/} 
} 

endj() { 
    trap "" sigchld 
    ej=$(gj $(jobs | grep Done)) 
    jobs %$ej 
    wait %$ej 
    CJ=$(($CJ - 1)) 
    if [ -n "$SJ" ]; then 
     kill $SJ 
     SJ="" 
    fi 
} 
startj() { 
    j=$* 
    while [ $CJ -ge $MAXJOBS ]; do 
     sleep 1000 & 
     SJ=$! 
     echo too many jobs running: $CJ 
     echo waiting for sleeper job [$SJ] 
     trap endj sigchld 
     wait $SJ 2>/dev/null 
    done 
    CJ=$(($CJ + 1)) 
    echo $CJ jobs running. starting: $j 
    eval "$j &" 
} 

set -m 

# test 
startj sleep 2 
startj sleep 10 
startj sleep 1 
startj sleep 1 
startj sleep 1 
startj sleep 1 
startj sleep 1 
startj sleep 1 
startj sleep 2 
startj sleep 10 

wait