Bash: parallelizzare md5sum checksum su molti file

Question

consente di dire, ho un server a 64-core, e ho bisogno di calcolare md5sum di tutti i file in /mnt/data, e memorizzare i risultati in un file di testo:

find /mnt/data -type f -exec md5sum {} \; > md5.txt 

Il problema con il comando precedente è che solo un processo viene eseguito in un dato momento. Vorrei sfruttare tutta la potenza dei miei 64 core. Idealmente, vorrei assicurarmi che in qualsiasi momento siano in esecuzione 64 processi paralleli md5 (ma non più di 64).

anche. Avrei bisogno dell'output di tutti i processi da memorizzare in un unico file.

NOTA: non sto cercando un modo per calcolare md5sum di un file in parallelo. Sto cercando un modo per calcolare 64 md5sum di 64 file diversi in parallelo, a patto che ci siano file provenienti da find.

Answer 1

Utilizzare GNU parallel. E puoi trovare altri esempi su come implementarlo here.

find /mnt/data -type f | parallel -j 64 md5sum > md5.txt 

Answer 2

AGGIORNATO

Se non si desidera utilizzare pacchetti aggiuntivi Si può provare sg come questo:

#!/usr/bin/bash 

max=5; 
cpid=() 

# Enable job control to receive SIGCHLD 
set -m 
remove() { 
    for i in ${!cpid[*]}; do 
    [ ! -d /proc/$i ] && echo UNSET $i && unset cpid[$i] && break 
    done 
} 
trap remove SIGCHLD 

for x in $(find ./ -type f -name '*.sh'); do 
    some_long_process $x& 
    cpid[$!]="$x"; 
    while [ ${#cpid[*]} -ge $max ]; do 
    echo DO SOMETHING && sleep 1; 
    done 
done 
wait 

Permette primi a ricevere SIGCHLD se un sottoprocesso uscite. Se SIGCHLD trova il primo processo non esistente e rimuove dall'array cpid.

Nel ciclo for si avvia max numero di processi some_long_process in modo asincrono. È stato raggiunto il numero max e vengono interrogati tutti i pid aggiunti all'array cpid. Aspetta fino a quando la lunghezza di cpid è inferiore a max e avvia alcuni altri processi in modo asincrono.

Se la lista è finita, aspetta che tutti i bambini finiscano.

AGGIUNTO

Finalmente ho trovato una vera e propria soluzione di makehere.

Answer 3

Se si desidera eseguire l'esperimento, provare a installare md5deep. (http://md5deep.sourceforge.net)

Here is the manual dove si può leggere:

-jnn Controlli multi-threading. Per impostazione predefinita, il programma creerà un thread di produzione per eseguire la scansione del file system e un thread di hashing per CPU core . Il multithreading fa sì che i nomi dei file di uscita siano nell'ordine non deterministico , poiché i file che richiedono più tempo per l'hash saranno ritardati mentre sono sottoposti a hash. Se è necessario un ordine deterministico, specificare -j0 per disabilitare il multi-threading

Se questo non aiuta, si dispone di collo di bottiglia I/O.

Answer 4

È possibile utilizzare anche xargs, potrebbe essere più disponibile dei paralleli su alcune distribuzioni.

-P controlla il numero di processi generati.

find /mnt/data -type f | xargs -L1 -P24 md5sum > /tmp/result.txt