Come salvare i modelli da ML Pipeline a S3 o HDFS?

Question

Sto cercando di salvare migliaia di modelli prodotti da ML Pipeline. Come indicato nella risposta here, i modelli possono essere salvati come segue:

import java.io._ 

def saveModel(name: String, model: PipelineModel) = { 
    val oos = new ObjectOutputStream(new FileOutputStream(s"/some/path/$name")) 
    oos.writeObject(model) 
    oos.close 
} 

schools.zip(bySchoolArrayModels).foreach{ 
    case (name, model) => saveModel(name, Model) 
} 

Ho provato con s3://some/path/$name e /user/hadoop/some/path/$name come vorrei i modelli per essere salvati su Amazon S3 alla fine ma entrambi falliscono con i messaggi che indica la percorso non può essere trovato.

Come salvare i modelli su Amazon S3?

Answer 1

Quindi il FileOutputStream salva sul filesystem locale (non attraverso le librerie hadoop), quindi salvare in una directory locale è il modo per farlo. Detto questo, la directory deve esistere, quindi assicurati che la directory esista prima.

Detto questo, a seconda del modello si potrebbe desiderare di guardare https://spark.apache.org/docs/latest/mllib-pmml-model-export.html (esportazione pmml).

Answer 2

Un modo per salvare un modello da HDFS è la seguente:

// persist model to HDFS 
sc.parallelize(Seq(model), 1).saveAsObjectFile("hdfs:///user/root/linReg.model") 

modello salvato può essere caricato come:

val linRegModel = sc.objectFile[LinearRegressionModel]("linReg.model").first() 

Per ulteriori dettagli vedere (ref)

Answer 3

Dal Apache-Spark 1.6 e nell'API Scala, è possibile salvare i modelli senza utilizzare trucchi. Poiché tutti i modelli della libreria ML sono dotati di un metodo , è possibile verificarlo nello LogisticRegressionModel, in effetti dispone di tale metodo. Tra l'altro, per caricare il modello è possibile utilizzare un metodo statico.

val logRegModel = LogisticRegressionModel.load("myModel.model")