La multiprocessing con numpy fa in modo imprevisto Python su OSX

Question

Ho incontrato un problema, in cui Python si chiude improvvisamente, quando si esegue il multiprocessing con numpy. Ho isolato il problema, in modo che ora posso confermare che il multiprocessing funziona perfettamente quando si esegue il codice di seguito riportato:

import numpy as np 
from multiprocessing import Pool, Process 
import time 
import cPickle as p 

def test(args): 
    x,i = args 
    if i == 2: 
     time.sleep(4) 
    arr = np.dot(x.T,x) 
    print i 

if __name__ == '__main__': 
    x = np.random.random(size=((2000,500))) 
    evaluations = [(x,i) for i in range(5)] 
    p = Pool() 
    p.map_async(test,evaluations) 
    p.close() 
    p.join() 

Il problema si verifica quando si tenta di valutare il codice qui sotto. Questo rende Python chiusura imprevista:

import numpy as np 
from multiprocessing import Pool, Process 
import time 
import cPickle as p 

def test(args): 
    x,i = args 
    if i == 2: 
     time.sleep(4) 
    arr = np.dot(x.T,x) 
    print i 

if __name__ == '__main__': 
    x = np.random.random(size=((2000,500))) 
    test((x,4)) # Added code 
    evaluations = [(x,i) for i in range(5)] 
    p = Pool() 
    p.map_async(test,evaluations) 
    p.close() 
    p.join() 

Si prega di aiutare qualcuno. Sono aperto a tutti i suggerimenti. Grazie. Nota: ho provato due macchine diverse e si verifica lo stesso problema.

Answer 1

Ho trovato una soluzione al problema Il problema si verifica quando Numpy viene utilizzato insieme a BLAS prima dell'inizializzazione un'istanza di multiprocessing. La mia soluzione alternativa è semplicemente quella di inserire il codice Numpy (eseguendo BLAS) in un singolo processo e successivamente eseguire le istanze di multiprocessing. Questo non è un buon stile di codifica, ma funziona. Vedere il seguente esempio:

seguito mancherà - Python si chiuderà:

import numpy as np 
from multiprocessing import Pool, Process 

def test(x): 
    arr = np.dot(x.T,x) # On large matrices, this calc will use BLAS. 

if __name__ == '__main__': 
    x = np.random.random(size=((2000,500))) # Random matrix 
    test(x) 
    evaluations = [x for _ in range(5)] 
    p = Pool() 
    p.map_async(test,evaluations) # This is where Python will quit, because of the prior use of BLAS. 
    p.close() 
    p.join() 

seguito avrà successo:

import numpy as np 
from multiprocessing import Pool, Process 

def test(x): 
    arr = np.dot(x.T,x) # On large matrices, this calc will use BLAS. 

if __name__ == '__main__': 
    x = np.random.random(size=((2000,500))) # Random matrix 
    p = Process(target = test,args = (x,)) 
    p.start() 
    p.join() 
    evaluations = [x for _ in range(5)] 
    p = Pool() 
    p.map_async(test,evaluations) 
    p.close() 
    p.join() 

Answer 2

Questo è un problema noto con multiprocessing e NumPy su MacOS X, e un po 'di un duplicato di:

segfault using numpy's lapack_lite with multiprocessing on osx, not linux

http://mail.scipy.org/pipermail/numpy-discussion/2012-August/063589.html

La risposta sembra essere quello di utilizzare un diverso BLAS altri di Apple accelera il framework quando si collega Numpy ... sfortunato :(