Attendere la fine dei sottoprocessi con più processi paralleli

Question

Sto eseguendo alcuni sottoprocessi da Python in parallelo. Voglio aspettare fino a quando tutti i sottoprocessi hanno finito. Sto facendo una soluzione non elegante:

,

esiste una classe in grado di gestire più sottoprocessi? Il problema è che il metodo wait blocca il mio programma.

aggiornamento: Voglio mostrare i progressi durante il calcolo: qualcosa come "4/7 sottoprocesso finito ..."

Se siete curiosi root compilare il C++ script e eseguirlo.

Answer 1

Si potrebbe fare qualcosa di simile:

runcodes = ["script1.C", "script2.C"] 

ps = [] 
for script in runcodes: 
    args = ["root", "-l", "-q", script] 
    p = subprocess.Popen(args) 
    ps.append(p) 

for p in ps: 
    p.wait() 

I processi verranno eseguiti in parallelo, e dovrai aspettare per tutti loro alla fine.

Answer 2

Se la tua piattaforma non è Windows, potresti probabilmente selezionare contro le pipe stdout dei tuoi sottoprocessi. La vostra applicazione sarà quindi bloccare fino a quando:

• Uno dei descrittori di file registrati ha un evento di I/O (in questo caso, siamo interessati ad un hangup sul tubo di stdout del sottoprocesso)
• I tempi sondaggio out

non a polpa-out esempio utilizzando epoll con Linux 2.6.xx:

import subprocess 
import select 

poller = select.epoll() 
subprocs = {} #map stdout pipe's file descriptor to the Popen object 

#spawn some processes 
for i in xrange(5): 
    subproc = subprocess.Popen(["mylongrunningproc"], stdout=subprocess.PIPE) 
    subprocs[subproc.stdout.fileno()] = subproc 
    poller.register(subproc.stdout, select.EPOLLHUP) 

#loop that polls until completion 
while True: 
    for fd, flags in poller.poll(timeout=1): #never more than a second without a UI update 
     done_proc = subprocs[fd] 
     poller.unregister(fd) 
     print "this proc is done! blah blah blah" 
     ... #do whatever 
    #print a reassuring spinning progress widget 
    ... 
    #don't forget to break when all are done 

Answer 3

Come su

 
import os, subprocess 
runcodes = ["script1.C", "script2.C"] 
ps = {} 
for script in runcodes: 
    args = ["root", "-l", "-q", script] 
    p = subprocess.Popen(args) 
    ps[p.pid] = p 
print "Waiting for %d processes..." % len(ps) 
while ps: 
    pid, status = os.wait() 
    if pid in ps: 
     del ps[pid] 
     print "Waiting for %d processes..." % len(ps)