2010-01-27 11 views
11

Tra le scelte che ho per parallelizzare in modo rapido semplice codice (snowfall, foreach, e so on), quali sono le opzioni per mostrare lo stato di avanzamento di tutti i processi di schiavi? Qualcuna delle offerte è eccellente in questo senso?monitoraggio dei progressi/debug parallelo Scripts R

Ho visto che la neve 1.70 ha sfCat(), ma non sembra uscita cat nella sessione master R.

+1

Ho risposto a una domanda simile qui: [http://stackoverflow.com/questions/8860470/how-to-output-a-message-in-snowfall/9608013#9608013][1] [1]: http://stackoverflow.com/questions/8860470/how-to-output-a-message-in-snowfall/9608013#9608013 – Rappster

+0

Si prega inoltre di dare un'occhiata a [questa risposta (http://stackoverflow.com/a/10916333/2026975)](http://stackoverflow.com/a/10916333/2026975) e le altre risposte a [questa domanda (how-can-i-print-when-using -dopar)] (http://stackoverflow.com/questions/10903787/how-can-i-print-when-using-dopar). – imriss

risposta

6

Ecco dove può trasformarsi in arte nera ... Ho notato che non hai elencato MPI o PVM - quei vecchi cavalli da lavoro del calcolo parallelo hanno monitor. Puoi trovare soluzioni andando al di fuori di R e affidandoti a programmatori di lavoro (slurm, coppia, ...)

Se non riesci a farlo (ed ehi, ci sono ragioni per cui ci piace la semplicità della neve, foreach , ...) allora forse puoi modificare i tuoi lavori per registrare un "heartbeat" o un messaggio di avanzamento ogni N passi. È possibile accedere a file di testo (se si dispone di una condivisione NFS o SMB/CIFS), accedere a un database, o diamine, inviare un tweet with R. Molto probabilmente sarà specifico per la tua app, e sì, avrà dei costi.

Problemi correlati