IPython.parallel non usa il multicore?

Question

Sto sperimentando con IPython.parallel e voglio solo lanciare diversi comandi di shell su motori diversi.

Ho il seguente Notebook:

cellulare 0:

from IPython.parallel import Client 
client = Client() 
print len(client) 
5 

e lanciare i comandi:

cellulare 1:

%%px --targets 0 --noblock 
!python server.py 

Cellulare 2:

%%px --targets 1 --noblock 
!python mincemeat.py 127.0.0.1 

cellulare 3:

%%px --targets 2 --noblock 
!python mincemeat.py 127.0.0.1 

Ciò che non è utilizza la mincemeat attuazione di MapReduce. Quando lancio il primo !python mincemeat.py 127.0.0.1 utilizza circa il 100% di un core, quindi quando lancio il secondo scende al 50% ciascuno. Ho 4 core (+ core virtuali) sulla macchina e posso usarli quando si lancia direttamente dal terminale ma non nel Notebook.

C'è qualcosa che mi manca? Vorrei utilizzare un core per il comando !python mincemeat.py 127.0.0.1.

EDIT:
Per chiarezza, ecco un'altra cosa che non utilizza più core:

cellulare 1:

%%px --targets 0 --noblock 

a = 0 
for i in xrange(100000): 
    for j in xrange(10000): 
     a += 1 

cellulare 2:

%%px --targets 0 --noblock 

a = 0 
for i in xrange(100000): 
    for j in xrange(10000): 
     a += 1 

Suppongo che mi manchi qualcosa. Credo che quelle due celle dovrebbero eseguire un core diverso se disponibile. Tuttavia, non sembra essere il caso. Ancora una volta l'utilizzo della CPU mostra che condividono lo stesso core e ne usano il 50%. Che cosa ho fatto di sbagliato?

Answer 1

Sintesi della discussione di chat:

CPU affinity è un meccanismo di spinatura un processo per un particolare nucleo CPU, e il problema è che a volte importazione NumPy può finire appunta processi Python alla CPU 0, come un risultato del collegamento a particolari librerie BLAS. È possibile sbloccare tutti i motori eseguendo questa cella:

%%px 
import os 
import psutil 
from multiprocessing import cpu_count 

p = psutil.Process(os.getpid()) 
p.set_cpu_affinity(range(cpu_count())) 
print p.get_cpu_affinity() 

che utilizza multiprocessing.cpu_count per ottenere il numero di CPU, e quindi associa ogni motore con tutte le CPU.

Un notebook IPython exploring the issue.