Come parallelizzare le chiamate do() con dplyr

Question

Sto cercando di capire come distribuire la funzione dplyr::do in parallelo. Dopo aver letto alcuni documenti sembra che dplyr :: init_cluster() dovrebbe essere sufficiente per dire a do() di funzionare in parallelo. Purtroppo questo non sembra essere il caso quando prova questo:

library(dplyr) 
test <- data_frame(a=1:3, b=letters[c(1:2, 1)]) 

init_cluster() 
system.time({ 
    test %>% 
    group_by(b) %>% 
    do({ 
     Sys.sleep(3) 
     data_frame(c = rep(max(.$a), times = max(.$a))) 
    }) 
}) 
stop_cluster() 

dà questa uscita:

Initialising 2 core cluster. 
|==========================================================================|100% ~0 s remaining 
    user system elapsed 
    0.03 0.00 6.03 

mi sarei aspettato di essere 3 se la chiamata fare è stato diviso tra i due core . Posso anche confermarlo aggiungendo una stampa al do() che stampa nel terminale R principale. Cosa mi manca qui?

sto usando dplyr 0.4.2 con R 3.2.1

Answer 1

Secondo https://twitter.com/cboettig/status/588068454239830017 questa funzione non sembra essere attualmente supportati.

Answer 2

È possibile controllare il nuovo pacchetto di Hadley multidplyr.

Answer 3

Secondo menzionati da @Maciej, si potrebbe provare multidplyr:

## Install from github 
devtools::install_github("hadley/multidplyr") 

---

Usa partition() per dividere il set di dati attraverso multipli core:

library(dplyr) 
library(multidplyr) 
test <- data_frame(a=1:3, b=letters[c(1:2, 1)]) 
test1 <- partition(test, a) 

sarete inizializzare una 3 nuclei cluster (uno per ogni a)

# Initialising 3 core cluster. 

Poi basta eseguire la do() chiamata:

test1 %>% 
    do({ 
    dplyr::data_frame(c = rep(max(.$a)), times = max(.$a)) 
    }) 

che dà:

#Source: party_df [3 x 3] 
#Groups: a 
#Shards: 3 [1--1 rows] 
# 
#  a  c times 
# (int) (int) (int) 
#1  1  1  1 
#2  2  2  2 
#3  3  3  3