Formazione di una rete neurale con apprendimento di rinforzo

Question

Conosco le basi delle reti neurali feedforward e come addestrarle utilizzando l'algoritmo di backpropagation, ma sto cercando un algoritmo di quello che posso usare per addestrare un ANN online con l'apprendimento di rinforzo.

Ad esempio, il problema cart pole swing up è uno che vorrei risolvere con una ANN. In quel caso, non so cosa si debba fare per controllare il pendolo, so solo quanto sono vicino alla posizione ideale. Ho bisogno di avere l'ANN imparata sulla base della ricompensa e della punizione. Pertanto, l'apprendimento supervisionato non è un'opzione.

Un'altra situazione è qualcosa come il snake game, in cui il feedback è in ritardo e limitato a obiettivi e anti-obiettivi, piuttosto che ricompensa.

Posso pensare ad alcuni algoritmi per la prima situazione, come l'alpinismo o gli algoritmi genetici, ma immagino che sarebbero entrambi lenti. Potrebbero anche essere applicabili nel secondo scenario, ma incredibilmente lenti e non favorevoli all'apprendimento online.

La mia domanda è semplice: Esiste un semplice algoritmo per addestrare una rete neurale artificiale con l'apprendimento di rinforzo? Principalmente mi interessano le situazioni di ricompensa in tempo reale, ma se è disponibile un algoritmo per situazioni basate sull'obiettivo, ancora meglio.

Answer 1

Ci sono alcuni articoli di ricerca sul tema:

• Efficient Reinforcement Learning Through Evolving Neural Network Topologies (2002)
• Reinforcement Learning Using Neural Networks, with Applications to Motor Control
• Reinforcement Learning Neural Network To The Problem Of Autonomous Mobile Robot Obstacle Avoidance

e un po 'di codice:

• Code examples per l'apprendimento del rinforzo della rete neurale.

Questi sono solo alcuni dei principali risultati di ricerca di Google sull'argomento. Il primo paio di fogli sembra che siano abbastanza buoni, anche se non li ho letti personalmente. Penso che troverai maggiori informazioni sulle reti neurali con l'apprendimento di rinforzo se esegui una ricerca rapida su Google Scholar.

Answer 2

Se l'output che porta a un premio r è retropropagato nella rete r volte, rinforzerà la rete proporzionalmente alla ricompensa. Questo non è direttamente applicabile ai premi negativi, ma posso pensare a due soluzioni che producono effetti diversi:

1) Se si dispone di una serie di premi in un intervallo rmin-rmax, ridimensionarli a 0-(rmax-rmin) in modo che siano tutto non negativo. Più grande è la ricompensa, più forte è il rinforzo che viene creato.

2) Per una ricompensa negativa -r, retrocopare un'uscita casuale r volte, a condizione che sia diverso da quello che porta alla ricompensa negativa. Ciò non solo rafforzerà gli output desiderati, ma diffonderà o eviterà output negativi.