C'è un modo semplice per decapitare una funzione python (o per serializzare in altro modo il suo codice)?

Question

Sto provando a trasferire una funzione attraverso una connessione di rete (usando asyncore). C'è un modo semplice per serializzare una funzione python (una che, almeno in questo caso, non avrà effetti collaterali) per il trasferimento come questo?

Vorrei idealmente avere una coppia di funzioni simili a questi:

def transmit(func): 
    obj = pickle.dumps(func) 
    [send obj across the network] 

def receive(): 
    [receive obj from the network] 
    func = pickle.loads(s) 
    func() 

Answer 1

È possibile serializzare la funzione bytecode e quindi ricostruirla sul chiamante. Il modulo marshal può essere utilizzato per serializzare gli oggetti codice, che possono essere riassemblati in una funzione. Per esempio:

import marshal 
def foo(x): return x*x 
code_string = marshal.dumps(foo.func_code) 

Poi nel processo remoto (dopo il trasferimento code_string):

import marshal, types 

code = marshal.loads(code_string) 
func = types.FunctionType(code, globals(), "some_func_name") 

func(10) # gives 100 

Alcune avvertenze:

• formato marescialla (qualsiasi bytecode pitone per questo) non possono essere compatibile tra le principali versioni di Python.

• Funzionerà solo per l'implementazione cpython.

• Se la funzione fa riferimento a globali (inclusi moduli importati, altre funzioni, ecc.) Che è necessario raccogliere, è necessario serializzare anche questi o ricrearli sul lato remoto. Il mio esempio fornisce solo lo spazio dei nomi globale del processo remoto.

• Probabilmente avrete bisogno di fare un po 'di più per supportare casi più complessi, come le chiusure o le funzioni del generatore.

Answer 2

Il modo più semplice è probabilmente inspect.getsource(object) (vedi la inspect module), che restituisce una stringa con il codice sorgente di una funzione o di un metodo.

Answer 3

Pyro è in grado di do this for you.

Answer 4

Tutto dipende dal fatto che si genera la funzione in fase di esecuzione o no:

Se lo fai - inspect.getsource(object) non funzionerà per le funzioni generati in modo dinamico, come si arriva di origine di oggetto da .py di file, in modo che solo le funzioni definito prima che l'esecuzione possa essere recuperata come sorgente.

E se le tue funzioni sono inserite in file in ogni caso, perché non dare al ricevitore l'accesso ad esse e solo passare attorno ai nomi dei moduli e delle funzioni.

L'unica soluzione per le funzioni create dinamicamente che posso pensare è costruire la funzione come stringa prima della trasmissione, trasmettere la sorgente e quindi eval() sul lato ricevitore.

Edit: la soluzione marshal sembra anche abbastanza intelligente, non sapeva è possibile serializzare qualcosa di diverso thatn built-in

Answer 5

Le funzioni di base utilizzate per questo modulo copre la tua ricerca, più si ottiene la migliore compressione sopra il filo; vedere il codice sorgente istruttivo:

y_serial.py module :: warehouse Oggetti Python con SQLite

"Serializzazione + persistenza :: in poche righe di codice, comprime e annota oggetti Python in SQLite, quindi li recupera in ordine cronologico tramite parole chiave senza SQL. modulo per un database per memorizzare i dati senza schema. "

http://yserial.sourceforge.net

Answer 6

Il pacchetto cloud (PIP installare cloud) può decapare codice arbitrario, incluse le dipendenze. Vedi https://stackoverflow.com/a/16891169/1264797.

Answer 7

Partenza Dill, che si estende biblioteca salamoia di Python per sostenere una maggiore varietà di tipi, comprese le funzioni di:

>>> import dill as pickle 
>>> def f(x): return x + 1 
... 
>>> g = pickle.dumps(f) 
>>> f(1) 
2 
>>> pickle.loads(g)(1) 
2 

Supporta anche i riferimenti agli oggetti in chiusura della funzione:

>>> def plusTwo(x): return f(f(x)) 
... 
>>> pickle.loads(pickle.dumps(plusTwo))(1) 
3