È possibile esportare un modello syntaxnet (Parsey McParseface) da servire con TensorFlow Serving?

Question

Ho il demo.sh funziona bene e ho guardato il parser_eval.py e ha fatto un po 'di bozze in qualche misura. Tuttavia, non vedo come servire questo modello usando TensorFlow Serving. Ci sono due problemi che riesco a vedere in alto:

1) Non esiste un modello esportato per questi grafici, il grafico viene generato ad ogni richiamo usando un generatore di grafici (ad esempio structured_graph_builder.py), un buffer di protocollo di contesto e un un sacco di altre cose che non comprendo completamente a questo punto (sembra registrare anche syntaxnet.ops addizionale). Quindi ... è possibile, e come esporterei questi modelli nel formato "bundle" richiesto da Serving e dallo SessionBundleFactory? In caso contrario, sembra che la logica di costruzione del grafico/i passaggi dovranno essere reimplementati in C++ perché il servizio viene eseguito solo in contesto C++.

2) demo.sh è in realtà due modelli letteralmente convogliati insieme con pipe UNIX, quindi qualsiasi Servable dovrebbe (probabilmente) creare due sessioni e effettuare il marshalling dei dati da uno all'altro. È un approccio corretto? Oppure è possibile costruire un grafico "grande" contenente entrambi i modelli "rattoppati" insieme ed esportarli invece?

Answer 1

Quindi dopo un sacco di apprendimento, ricerca ecc. Ho finito per mettere insieme una richiesta di pull per tensorflow/modelli e sintassi che raggiunge l'obiettivo di servire Parsey McParseface da TF serving.

https://github.com/tensorflow/models/pull/250

Che non è qui è il codice vero e proprio "servire", ma che è relativamente banale rispetto al lavoro per risolvere i problemi nella domanda precedente.