Passaggio di un intero pacchetto a un cluster di neve

Question

Sto provando a parallelizzare (usando snow::parLapply) un codice che dipende da un pacchetto (ad esempio un pacchetto diverso da snow). Gli oggetti a cui si fa riferimento nella funzione chiamata da parLapply devono essere passati esplicitamente al cluster utilizzando clusterExport. Esiste un modo per passare un intero pacchetto al cluster anziché dover denominare esplicitamente ogni funzione (incluse le funzioni interne di un pacchetto chiamate dalle funzioni utente!) In clusterExport?

Answer 1

Installare il pacchetto su tutti i nodi, e hanno la chiamata codice library(thePackageYouUse) su tutti i nodi attraverso uno dei comandi disponibili, l'uovo qualcosa come

clusterApply(cl, library(thePackageYouUse)) 

Credo che il pacchetto parallel che viene fornito con le recenti versioni R ha esempi - - si veda ad esempio qui dal help(clusterApply) in cui il pacchetto viene caricato boot ovunque:

## A bootstrapping example, which can be done in many ways: 
clusterEvalQ(cl, { 
    ## set up each worker. Could also use clusterExport() 
    library(boot) 
    cd4.rg <- function(data, mle) MASS::mvrnorm(nrow(data), mle$m, mle$v) 
    cd4.mle <- list(m = colMeans(cd4), v = var(cd4)) 
    NULL 
})