Cos'è l'apprendimento debolmente supervisionato (bootstrap)?

Question

Capisco le differenze tra apprendimento supervisionato e non supervisionato:

supervisionata Learning è un modo di "insegnare" il classificatore, utilizzando i dati etichettati.

Apprendimento senza supervisione consente al classificatore di "apprendere da solo", ad esempio utilizzando il clustering.

Ma che cos'è un "apprendimento debolmente supervisionato"? Come classifica i suoi esempi?

Answer 1

In breve: nell'apprendimento debolmente supervisionato, si utilizza una quantità limitata di dati etichettati .

Come si selezionano questi dati e ciò che si fa esattamente dipende dal metodo. In generale, si utilizza un numero limitato di dati che è facile da ottenere e/o fa davvero la differenza e quindi imparare il resto. Considero il bootstrap un metodo che può essere utilizzato nell'apprendimento debolmente supervisionato, ma come mostra il commento di Ben in basso, questa non è una visione generalmente accettata.

Vedi, per esempio this dissertation per una bella panoramica (Ma io non sono sicuro se la distinzione tra apprendimento semi-supervisionato e debolmente-sorvegliato è generalmente accettato), si dice quanto segue riguardo bootstrap/apprendimento debolmente-supervisionato:

Il bootstrap, chiamato anche autoapprendimento, è una forma di apprendimento che è stato progettato per utilizzare ancora meno esempi di formazione, pertanto a volte chiamato debitamente supervisionato. Il bootstrap inizia con alcuni esempi di training , forma un classificatore e utilizza gli esempi positivi positivi forniti da questo classificatore per la riqualificazione. Con l'aumentare degli esempi di formazione , il classificatore migliora, a condizione che non siano stati errati anche gli esempi negativi di , il che potrebbe causare un deterioramento delle prestazioni pari a .

Ad esempio, in caso di tag di parte del discorso, di solito si allena un tagger HMM (o maximum-entropy o qualunque) su 10.000 parole, ciascuna con il proprio POS. In caso di tagging debolmente supervisionato, potresti semplicemente utilizzare un corpus molto piccolo di parole da 100 secondi. Ottieni un tagger, lo usi per taggare un corpus di parole di 1000, istruisci un tagger su questo e lo usi per etichettare un corpus ancora più grande. Ovviamente, devi essere più intelligente di questo, ma questo è un buon inizio. (Vedere this paper per un esempio più avanzata di un tagger bootstrap)

Nota: l'apprendimento debolmente supervisionato può anche riferirsi ad imparare con le etichette rumorosi (tali etichette possono, ma non devono essere il risultato di bootstrap)

Answer 2

• Supervisione debole è la supervisione con etichette rumorose. Ad esempio, bootstrap, in cui la procedura di bootstrap può erroneamente etichettare alcuni esempi.
• La supervisione distante si riferisce a segnali di allenamento che non etichettano direttamente gli esempi; ad esempio, apprendere i parser semantici dai set di dati di domande e risposte.
• L'apprendimento semi-supervisionato è quando si dispone di un set di dati parzialmente etichettato e parzialmente non etichettato.
• L'apprendimento completo è supervisionato da quando si hanno etichette di verità rettificate per ogni punto dati.

Answer 3

Come descritto da Jirka, supervisione debole implica iniziale (sorvegliata) formazione su un piccolo insieme di dati etichettati, previsione su un insieme più ampio e (incontrollato) l'incorporazione dei casi identificati positivamente (o le loro caratteristiche) nel modello (sia attraverso la riqualificazione sul set di dati ingrandito o attraverso l'aggiornamento diretto del modello). Il processo di aggiornamento (senza supervisione) viene iterato fino a quando non viene raggiunto un determinato obiettivo. Ovviamente questo può facilmente andare storto se il predittore iniziale produce molti falsi positivi, ma ci sono certe situazioni in cui lo spazio di ricerca può essere limitato in modo che la generalizzazione ottenuta attraverso una supervisione debole non sia (spesso) gestita da un utente o l'input dell'utente possa essere abituato a controllare (debolmente) il processo di apprendimento. Per fornire un esempio complementare di grande successo non in text-mining, PSI-BLAST perfeziona iterativamente un profilo di sequenza proteica per identificare omologhi distanti. Una buona panoramica di cosa può andare storto con un simile approccio in questo contesto è disponibile in questo paper.