Come decomprimere più file gz in python usando il multi threading?

Question

Ho più file gz con una dimensione totale di circa 120 GB. Voglio decomprimere (gzip) quei file nella stessa directory e rimuovere il file gz esistente. Attualmente lo stiamo facendo manualmente e ci vuole più tempo per decomprimere usando gzip -d <filename>.
C'è un modo per decomprimere questi file in parallelo creando uno script python o qualsiasi altra tecnica. Attualmente questi file sono su una macchina Linux.

Answer 1

Un grande segmento del tempo di orologio da parete impiegato per decomprimere un file con gunzip o gzip -d sarà dalle operazioni di I/O (lettura e scrittura su disco). Potrebbe anche essere più del tempo speso per la decompressione dei dati. Puoi trarre vantaggio da questo fatto avendo più lavori gzip in background. Poiché alcuni lavori sono bloccati su I/O, un altro lavoro può effettivamente essere eseguito senza dover attendere in coda.

È possibile velocizzare la decompressione dell'intero set di file con più processi gunzip in esecuzione in background. Ognuno che serve un insieme specifico di file.

È possibile creare qualcosa di semplice in BASH. Dividi l'elenco dei file in comandi separati e usa & per avviarlo come lavoro in background. Quindi wait per ogni lavoro da finire.

Si consiglia di eseguire tra 2 e 2 processi * N contemporaneamente. Dove N è il numero di core o processori logici sul tuo computer. Sperimenta se necessario per ottenere il numero giusto.

È possibile montare facilmente qualcosa in BASH.

#!/bin/bash 

argarray=("$@") 
len=${#argarray[@]} 

#declare 4 empty array sets 
set1=() 
set2=() 
set3=() 
set4=() 

# enumerate over each argument passed to the script 
# and round robin add it to one of the above arrays 

i=0 
while [ $i -lt $len ] 
do 

    if [ $i -lt $len ]; then 
     set1+=("${argarray[$i]}") 
     ((i++)) 
    fi 

    if [ $i -lt $len ]; then 
     set2+=("${argarray[$i]}") 
     ((i++)) 
    fi 

    if [ $i -lt $len ]; then 
     set3+=("${argarray[$i]}") 
     ((i++)) 
    fi 

    if [ $i -lt $len ]; then 
     set4+=("${argarray[$i]}") 
     ((i++)) 
    fi 
done 

# for each array, start a background job 
gzip -d ${set1[@]} & 
gzip -d ${set2[@]} & 
gzip -d ${set3[@]} & 
gzip -d ${set4[@]} & 

# wait for all jobs to finish  
wait 

Nell'esempio precedente, ho selezionato 4 file per lavoro e ho iniziato due lavori separati. È possibile estendere facilmente lo script per avere più lavori, più file per processo e prendere i nomi dei file come parametri della riga di comando.

Answer 2

Si può fare questo molto facilmente con multiprocessing Pools:

import gzip 
import multiprocessing 
import shutil 

filenames = [ 
    'a.gz', 
    'b.gz', 
    'c.gz', 
    ... 
] 

def uncompress(path): 
    with gzip.open(path, 'rb') as src, open(path.rstrip('.gz'), 'wb') as dest: 
     shutil.copyfileobj(src, dest) 

with multiprocessing.Pool() as pool: 
    for _ in pool.imap_unordered(uncompress, filenames, chunksize=1): 
     pass 

Questo codice si riproducono alcuni processi, e ogni processo si estrarre un file alla volta.

Qui ho scelto chunksize=1, per evitare processi di stallo se alcuni file sono più grandi della media.