come salvare una pipeline di scikit-learn con keras regressor all'interno del disco?

Question

Ho un pipline scikit-learn con kerasRegressor in esso:

estimators = [ 
    ('standardize', StandardScaler()), 
    ('mlp', KerasRegressor(build_fn=baseline_model, nb_epoch=5, batch_size=1000, verbose=1)) 
    ] 
pipeline = Pipeline(estimators) 

Dopo, la formazione del pipline, sto cercando di salvare su disco utilizzando joblib ...

joblib.dump(pipeline, filename , compress=9) 

Ma io sono sempre un errore:

RuntimeError: maximum recursion depth exceeded

Come si salverà la pipeline su disco?

Answer 1

Ho lottato con lo stesso problema in quanto non ci sono modi diretti per farlo. Ecco un trucco che ha funzionato per me. Ho salvato la mia pipeline in due file. Il primo file memorizzato un oggetto in salamoia del gasdotto sklearn e la seconda è stata utilizzata per memorizzare il modello Keras:

... 
from keras.models import load_model 
from sklearn.externals import joblib 

... 

pipeline = Pipeline([ 
    ('scaler', StandardScaler()), 
    ('estimator', KerasRegressor(build_model)) 
]) 

pipeline.fit(X_train, y_train) 

# Save the Keras model first: 
pipeline.named_steps['estimator'].model.save('keras_model.h5') 

# This hack allows us to save the sklearn pipeline: 
pipeline.named_steps['estimator'].model = None 

# Finally, save the pipeline: 
joblib.dump(pipeline, 'sklearn_pipeline.pkl') 

del pipeline 

Ed ecco come il modello potrebbe essere caricato di nuovo:

# Load the pipeline first: 
pipeline = joblib.load('sklearn_pipeline.pkl') 

# Then, load the Keras model: 
pipeline.named_steps['estimator'].model = load_model('keras_model.h5') 

y_pred = pipeline.predict(X_test)