Python programmazione multicore

Question

perche una classe come segue:

class Foo: 
    def __init__(self, data): 
     self.data = data 

    def do_task(self): 
     #do something with data 

Nella mia domanda ho una lista che contiene diverse istanze di classe Foo. L'obiettivo è quello di eseguire do_task per tutti gli oggetti Foo. Una prima implementazione è semplice:

#execute tasks of all Foo Object instantiated 
for f_obj in my_foo_obj_list: 
    f_obj.do_task() 

Vorrei sfruttare l'architettura multi-core condivisione del ciclo for tra 4 CPU della mia macchina.

Qual è il modo migliore per farlo?

Answer 1

Invece di passare attraverso tutte le basi multithreading/multicore, vorrei fare riferimento a un messaggio da Ryan W. Smith: Multi-Core and Distributed Programming in Python

Egli andrà in dettaglio come è possibile utilizzare più core e utilizzare tali concetti. Ma per favore sii prudente con quella roba se non hai familiarità con i concetti generali del multithreading.

Functional Programming consente inoltre di personalizzare l'algoritmo/funzione per ogni core.

Answer 2

È possibile utilizzare process pools nel modulo di multiprocessing.

def work(foo): 
    foo.do_task() 

from multiprocessing import Pool 

pool = Pool() 
pool.map(work, my_foo_obj_list) 
pool.close() 
pool.join()