Integrazione del feedback degli utenti in un modello ML

Question

Ho sviluppato un modello ML per un'attività di classificazione NLP (0/1) e l'ho distribuito nell'ambiente di produzione. La previsione del modello viene visualizzata agli utenti e gli utenti hanno la possibilità di fornire un feedback (se la previsione era giusta/sbagliata).

Come posso incorporare continuamente questo feedback nel mio modello? Da un punto di vista UX non si desidera che un utente corregga/insegni il sistema più di due volte/tre volte per un input specifico, il sistema shld impara velocemente, quindi il feedback deve essere incorporato "veloce". (Posta prioritaria Google esegue questa operazione in modo trasparente)

Come si costruisce questo "ciclo di feedback" mediante il quale il mio sistema può migliorare? Ho cercato molto in rete ma non ho trovato il materiale pertinente. qualsiasi suggerimento sarà di grande aiuto.

Pls non dice di riqualificare il modello da zero includendo nuovi punti dati. Questo non è sicuramente il modo in cui Google e Facebook costruiscono i loro sistemi intelligenti

Per spiegare ulteriormente la mia domanda, pensate al rilevatore di spam di google o alla loro casella di posta prioritaria o alla loro recente funzione di "risposte intelligenti". È un fatto ben noto che hanno la capacità di apprendere/incorporare il feed utente (veloce).

Per tutto il tempo in cui incorpora il feedback dell'utente veloce (cioè l'utente deve insegnare al sistema l'uscita corretta al massimo 2-3 volte per punto dati e il sistema inizia a fornire l'output corretto per quel punto dati) E inoltre assicura mantiene vecchi insegnamenti e non inizia a fornire risultati errati su punti di dati meno recenti (dove stava dando il giusto output in precedenza) incorporando l'apprendimento da un nuovo punto dati.

non ho trovato alcun blog/letteratura/WRT discussione come costruire tali sistemi -. Un sistema intelligente che spiega in loop detaieedback" nei sistemi di ML

spero che la mia domanda è po 'più chiaro ora

Aggiornamento: Alcune domande correlate che ho trovato sono:

• Does the SVM in sklearn support incremental (online) learning?

• https://datascience.stackexchange.com/questions/1073/libraries-for-online-machine-learning

• http://mlwave.com/predicting-click-through-rates-with-online-machine-learning/

• https://en.wikipedia.org/wiki/Concept_drift

Aggiornamento: io non avere ancora una risposta concreta, ma una tale ricetta non esiste. Leggi la sezione "Imparare dal feedback" nel seguente blog Machine Learning != Learning Machine. In questo Jean parla di "aggiungere un ciclo di ingestione feedback alla macchina". Lo stesso in here, here, qui 4.

Answer 1

Creare un modello semplice e leggero che può essere aggiornato per feedback. L'apprendimento automatico online offre un numero di candidati per questo

I migliori classificatori online sono lineari.In questo caso possiamo avere un paio di loro e raggiungere non linearità combinandoli tramite una piccola rete neurale superficiale

https://stats.stackexchange.com/questions/126546/nonlinear-dynamic-online-classification-looking-for-an-algorithm

Answer 2

Ci potrebbero essere due modi per farlo:

1) può incorporare il feedback che ottieni dall'utente per allenare solo l'ultimo livello del tuo modello, mantenendo intatti i pesi di tutti gli altri livelli. Intuitivamente, ad esempio, in caso di CNN questo significa che stai estraendo le caratteristiche usando il tuo modello, ma aggiustando leggermente il classificatore per tenere conto delle peculiarità del tuo specifico utente.

2) Un altro modo potrebbe essere quello di avere un modello globale (che è stato addestrato sul set di training di grandi dimensioni) e una semplice regressione logistica che è specifica dell'utente. Per le previsioni finali, puoi combinare i risultati delle due previsioni. Vedi this paper da google su come lo fanno per la loro casella di posta prioritaria.