Utilizzo di modelli di deep learning da TensorFlow in altri ambienti di lingua

Question

Ho una discreta esperienza con TensorFlow e sto per intraprendere un progetto che culminerà infine nell'utilizzo di un modello addestrato TensorFlow in un ambiente di produzione C#. Essenzialmente, avrò dati live che entreranno nell'ambiente C# e alla fine avrò bisogno di prendere decisioni/intraprendere determinate azioni basate sull'output del mio modello in TensorFlow. Questo è fondamentalmente solo un vincolo dell'infrastruttura esistente.

Posso pensare a un paio di modi potenzialmente cattivi per implementare questo, come scrivere i dati sul disco e poi chiamare la parte Python dell'applicazione e quindi leggere finalmente l'output del risultato dall'applicazione Python e prendere qualche azione basata su di essa. Questo è lento, tuttavia.

Ci sono modi più veloci per realizzare questa stessa relazione integrata tra C# e Tensorflow basato su Python. Vedo che there appear to be some ways per farlo con C++ e TensorFlow, ma che dire di C#?

Answer 1

Si tratta di un caso d'uso principale per TensorFlow Serving, che consente di creare un processo di C++ che può essere eseguito su un modello di inferenza tensorflow addestrato, e serve le richieste di inferenza su gRPC. Puoi scrivere il codice cliente in qualsiasi lingua che sia gRPC supports. Dai un'occhiata al tutorial MNIST: C++ server e Python client componenti.