Formation Introduction au Deep Reinforcement Learning

Références :
– Playing Atari with Deep Reinforcement Learning, Mnih et al, 2013.
– Deep Recurrent Q-Learning for Partially Observable MDPs, Hausknecht and
Stone, 2015
– Rainbow: Combining Improvements in Deep Reinforcement Learning,
Hessel et al, 2017.

• Policy Gradients : Architecture Actor Critic
• Approche Asynchrone A3C. Définition asynchrone du Deep Q Learning. Algorithme A3C, intérêt, performances et souplesse de l’approche asynchrone
• Évolution d’une policy par policy gradient : Trusted Policy Optimization et Proximal Policy Optimization. Avantages apportés par l’approche PPO. Étude des résultats et des conditions d’application.
• Soft actor critic : utilisation d’un paramètre d’entropie pour maximiser l’exploration. Détails d’architecture

Références :
– Asynchronous Methods for Deep Reinforcement Learning, Mnih et al, 2016
– Proximal Policy Optimization Algorithms, Schulman et al, 2017.

• Approche distributionnelle : adaptation des équations et définitions fondamentales. Motivation de l’approche et résultats observés.
• Algorithmes à évolution : utilisation de Natural Evolution Strategies pour une convergence Deep Reinforcement Learning. Vision de l’optimisation et de la parallélisation possible de l’apprentissage. Analyse des résultats comparés.

Références :
– Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement
Learning with a Stochastic Actor, Haarnoja et al, 2018
– Evolution Strategies as a Scalable Alternative to Reinforcement Learning,
Salimans et al, 2017

[JOUR 2]

3. Exploration de l’environnement

• Exploration versus apprentissage : quelle pondération, quel intérêt ? Comment définit-on l’exploration ?
• Étude des explorations basées sur un décompte des états/actions.
• Analyse des modélisations possibles de l’état par Hash. Apprentissage du hash par Variational Autoencoder (rappel des principes du VAE)
• Concepts de « curiosité »
• Approche basée uniquement sur l’exploration sans récompense directe. Résultats, intérêts et discussions

Références :
– Exploration: A Study of Count-Based Exploration for Deep Reinforcement
Learning, Tang et al, 2016
– Large-Scale Study of Curiosity-Driven Learning, Burda et al, 2018

4. Model based Deep Reinforcement Learning : apprentissage du modèle.

• Mise en œuvre de l’apprentissage d’un modèle interne à l’agent devant représenter l’environnement.
• Étude des différentes stratégies de modélisation. Approche probabiliste ou déterministe.
• Entrainement d’un modèle dans son environnement « interne » et application à l’environnement cible.
• Étude du concept d’ « imagination » (Deepmind), Imagination Augmented Agent. Exploitation d’un apprentissage libre avec modélisation des états futurs d’une manière interne. Études d’ablation.
• Résultats comparés

Références :
– Imagination-Augmented Agents for Deep Reinforcement Learning, Weber
et al, 2017
– Recurrent World Models Facilitate Policy Evolution, Ha and Schmidhuber,
2018.

5. Approches model-based : AlphaGo, AlphaGo Zero et dérivés

• Monte Carlo Tree Search (MCTS) : analyse de l’algorithme fondamental
• AlphaGo : analyse de l’apprentissage en quatre étapes, et utilisation de la MCTS pondérant les différents réseaux de neurones disponibles. Analyse de la performance et des résultats
• AlphaGo Zero : analyse des évolutions, utilisation de la MCTS au sein de l’apprentissage. Comparaison AlphaGo VS AlphaGO Zero
• AlphaZero : généralisation de l’approche AlphaGo Zero à d’autres approches
• Imitation Learning : définition et exemples
• Expert Iteration : utilisation de la MCTS pour modélisation interne d’un modèle expert permettant de mettre en oeuvre l’imitation learning.

Références :
– Mastering Chess and Shogi by Self-Play with a General Reinforcement
Learning Algorithm, Silver et al, 2017
– Thinking Fast and Slow with Deep Learning and Tree Search, Anthony et al,
2017