parallelizzare moltiplicazione della computazione vettori simili in pitone

Question

Ho un pezzo di codice come

for i in range(0, len(a)) 
    b[i] = func(a[i]) 

dove a e b sono matrici della stessa lunghezza, a è dato (e grande), func è una funzione che ha un sacco di variabili locali ma non usa alcuna variabile globale.

Mi piacerebbe distribuire calcoli di funzioni su più CPU. Presumibilmente ho bisogno di usare il modulo multiprocessing, ma non ho trovato nessun esempio pertinente. Potresti aiutare? Grazie.

Answer 1

Vedi il primo esempio di codice nella multiprocessing docs:

from multiprocessing import Pool 

# you could define `func`, `a` here 

if __name__=="__main__": 
    p = Pool() # use all available CPU cores 
    b = p.map(func, a) 

Answer 2

Usa pool di processi. Puoi vedere un campione completo nel mio github: https://github.com/mariazverina/codejam/blob/master/src/main.py

from multiprocessing import Pool 

p = Pool(4) # set to number of cores 
b = p.map(func, a)