apprentissage par renforcementapprentissage automatiqueintelligence artificiellegradient de politiqueapprentissage par renforcement (q-learning)
Méthodes fondées sur les politiques vs méthodes fondées sur les valeurs
Les méthodes basées sur les politiques et celles basées sur les valeurs représentent deux approches fondamentales de l'apprentissage par renforcement. Les méthodes basées sur les politiques apprennent directement une stratégie de sélection des actions, tandis que les méthodes basées sur les valeurs estiment la qualité de chaque action et déduisent le comportement à partir de ces estimations. Chacune présente des atouts distincts adaptés à différents types de problèmes.
Points forts
Les méthodes fondées sur des politiques optimisent directement les actions, tandis que les méthodes fondées sur la valeur évaluent d'abord la qualité de chaque action.
Les espaces d'action continus privilégient les méthodes fondées sur les politiques ; les espaces discrets privilégient souvent les méthodes fondées sur les valeurs.
Les méthodes basées sur la valeur, comme DQN, sont généralement plus efficaces en termes d'échantillonnage grâce à la réutilisation de l'expérience.
Les algorithmes acteur-critique combinent les deux approches et dominent de nombreux benchmarks modernes d'apprentissage par renforcement.
Qu'est-ce que Méthodes fondées sur des politiques ?
Approches d'apprentissage par renforcement qui optimisent directement la politique de sélection des actions de l'agent sans nécessiter de fonction de valeur.
Les méthodes basées sur les politiques paramétrisent et optimisent directement la politique, généralement en utilisant l'ascension de gradient sur la récompense attendue.
REINFORCE, développé par Ronald Williams en 1992, est l'un des premiers et des plus influents algorithmes de gradient de politique.
Ces méthodes permettent de gérer naturellement des espaces d'action continus et de grande dimension, ce qui est difficile pour les approches basées sur les valeurs.
Les gradients de politique souffrent souvent d'une forte variance dans leurs estimations de gradient, ce qui nécessite des techniques comme les lignes de base et l'estimation des avantages.
Elles tendent à converger vers des optima locaux plutôt que globaux, car les méthodes de gradient suivent l'évolution des politiques publiques.
Qu'est-ce que Méthodes fondées sur les valeurs ?
Les approches d'apprentissage par renforcement qui apprennent à évaluer la qualité des états ou des paires état-action, puis déduisent une politique à partir de ces estimations de valeur.
Les méthodes basées sur la valeur estiment une fonction de valeur, telle que les valeurs Q, et sélectionnent les actions en fonction de ces estimations.
L'apprentissage par renforcement Q-learning a été introduit par Christopher Watkins dans sa thèse de doctorat de 1989 et reste un algorithme fondamental.
Deep Q-Networks (DQN), publié par DeepMind en 2013, a combiné l'apprentissage Q avec des réseaux neuronaux profonds et a maîtrisé les jeux Atari.
Ces méthodes nécessitent généralement des espaces d'actions discrets car elles choisissent l'action ayant la valeur estimée la plus élevée.
La relecture d'expérience et les réseaux cibles sont des techniques de stabilité courantes utilisées dans les méthodes profondes basées sur la valeur.
Tableau comparatif
Fonctionnalité
Méthodes fondées sur des politiques
Méthodes fondées sur les valeurs
Approche de base
Optimise directement la politique
Apprend une fonction de valeur, puis agit en conséquence.
Espace d'action
Fonctionne bien avec des actions continues et multidimensionnelles
Idéal pour les actions discrètes et peu dimensionnelles
Efficacité de l'échantillon
Généralement moins efficace en termes d'échantillonnage, nécessite souvent plus de données.
Généralement plus efficace en termes d'échantillonnage, notamment avec les tampons de relecture
Stabilité
Mises à jour stables, mais pouvant converger vers des optima locaux.
Peut être instable avec l'approximation de fonctions, nécessite des astuces
Exploration
Les politiques stochastiques permettent l'exploration naturelle
S'appuie sur des heuristiques comme epsilon-greedy ou l'injection de bruit
Variance du gradient
Gradients de variance élevés, nécessite une réduction de la variance
Pas de gradient de politique, donc pas de problème de variance au sens strict.
Algorithmes remarquables
RENFORCEMENT, PPO, TRPO, A2C
Apprentissage par renforcement (Q-learning), DQN, Double DQN, DQN en duel
Garantie de convergence
Converge vers un optimum local dans des conditions standard
Converge vers une politique optimale dans les contextes tabulaires
Comparaison détaillée
Comment ils apprennent différemment
Les méthodes basées sur les politiques adoptent une approche plus directe : elles paramétrent la politique elle-même, souvent à l’aide d’un réseau neuronal qui génère des probabilités d’action, et ajustent ces paramètres pour privilégier les actions menant à des récompenses plus élevées. Les méthodes basées sur la valeur, quant à elles, optent pour une approche plus nuancée en estimant d’abord la valeur de chaque action dans chaque état, puis en choisissant simplement l’option la plus avantageuse. Cette différence fondamentale influence considérablement le comportement pratique des deux familles de méthodes.
Gestion des espaces d'action
Lorsque l'espace d'actions est continu, comme le contrôle d'un bras robotisé ou la conduite d'une voiture, les méthodes basées sur des politiques excellent car elles peuvent fournir une distribution de probabilité sur un intervalle continu. Les méthodes basées sur les valeurs rencontrent des difficultés dans ce cas, car il est impossible d'énumérer toutes les actions possibles pour trouver la meilleure. Pour les problèmes comportant un petit ensemble d'actions discrètes, comme jouer à l'Atari ou prendre des décisions par oui ou par non, les méthodes basées sur les valeurs sont souvent plus simples et plus efficaces.
Stabilité et efficacité de l'échantillon
Les méthodes basées sur la valeur, comme DQN, sont généralement plus efficaces en termes d'échantillonnage car elles réutilisent les expériences passées stockées dans des tampons de relecture et apprennent de chaque transition à plusieurs reprises. Cependant, elles peuvent s'avérer instables lorsqu'elles sont combinées à des réseaux neuronaux profonds, ce qui explique l'introduction de techniques telles que les réseaux cibles. Les méthodes basées sur les politiques s'actualisent plus facilement mais nécessitent généralement davantage d'échantillons pour converger, et leurs estimations de gradient peuvent être bruitées.
Stratégies d'exploration
L'un des avantages des méthodes basées sur les politiques est que ces dernières peuvent être stochastiques, ce qui signifie que l'agent explore naturellement en échantillonnant sa distribution d'actions. Les méthodes basées sur la valeur nécessitent des stratégies d'exploration explicites, l'approche epsilon-greedy étant le choix classique, bien que des approches plus sophistiquées comme les réseaux bruités ou les bornes supérieures de confiance existent également. Cela rend les méthodes basées sur les politiques particulièrement intéressantes dans les environnements où l'exploration est complexe.
Quand les combiner
La frontière entre ces deux familles n'est pas toujours nette. Les méthodes acteur-critique, comme PPO et A2C, combinent les deux approches en utilisant une fonction de valeur (le critique) pour orienter les mises à jour de la politique (l'acteur). Cette approche hybride offre souvent les avantages des deux méthodes : une variance plus faible que les gradients de politique purs et une meilleure gestion des actions continues que les méthodes purement basées sur la valeur. Dans de nombreux domaines, les algorithmes de pointe actuels sont des variantes acteur-critique.
Avantages et inconvénients
Méthodes fondées sur des politiques
Avantages
+Gère les actions continues
+Exploration naturelle
+Mises à jour fluides
+Politiques stochastiques
+Optimisation de bout en bout
Contenu
−gradients à forte variance
−Moins efficace en termes d'échantillonnage
−Risque d'optimum local
−Convergence plus lente
Méthodes fondées sur les valeurs
Avantages
+Échantillon efficace
+Solide base théorique
+Simple à mettre en œuvre
+Fonctionne bien avec la relecture
Contenu
−Limité aux actions discrètes
−Peut être instable
−Nécessite des astuces d'exploration
−Difficile à étendre en continu
Idées reçues courantes
Mythe
Dans l'apprentissage par renforcement profond, les méthodes basées sur des politiques sont toujours plus performantes que les méthodes basées sur des valeurs.
Réalité
Aucune des deux familles n'est universellement supérieure. Les méthodes basées sur les valeurs, comme DQN, ont obtenu des résultats remarquables sur Atari, tandis que les méthodes basées sur les politiques excellent dans le contrôle continu. Le meilleur choix dépend de l'espace d'action, de la dynamique de l'environnement et de la quantité de données disponibles.
Mythe
Les méthodes basées sur les valeurs ne peuvent pas fonctionner avec des espaces d'actions continus.
Réalité
Alors que l'apprentissage par renforcement (Q-learning) standard peine à traiter les actions continues, des variantes comme le Deep Deterministic Policy Gradient (DDPG) et le Twin Delayed DDPG (TD3) étendent les concepts basés sur les valeurs aux domaines continus grâce à des architectures acteur-critique. La distinction stricte entre ces deux familles relève davantage d'une simplification pédagogique que d'une règle absolue.
Mythe
Les gradients de politique convergent toujours vers la politique optimale.
Réalité
Les méthodes de gradient de politique convergent vers une politique localement optimale sous des hypothèses de régularité standard, et non vers une politique globalement optimale. Le paysage d'optimisation peut présenter de nombreux sommets, et l'algorithme s'arrêtera sur celui vers lequel son point de départ le conduit.
Mythe
Les méthodes basées sur les valeurs ne nécessitent aucune représentation de politique.
Réalité
Même les méthodes basées sur la valeur définissent implicitement une politique par le biais de leur règle de sélection des actions, comme les méthodes gloutonnes ou epsilon-gloutonnes. La différence réside dans le fait que la politique n'est pas directement paramétrée et apprise ; elle est déduite des estimations de valeur.
Mythe
Un plus grand nombre d'échantillons résout toujours le problème d'instabilité dans les méthodes profondes basées sur les valeurs.
Réalité
L'instabilité du deep Q-learning provient du problème de la cible mouvante, où la fonction de valeur suit ses propres mises à jour. L'ajout de données supplémentaires ne suffit pas ; des techniques comme les réseaux cibles, le double Q-learning et la relecture priorisée sont nécessaires pour stabiliser l'entraînement.
Questions fréquemment posées
Quelle est la principale différence entre les méthodes fondées sur les politiques et les méthodes fondées sur les valeurs ?
Les méthodes basées sur les politiques apprennent directement une correspondance entre les états et les actions, puis l'optimisent à l'aide de méthodes de gradient. Les méthodes basées sur la valeur, quant à elles, apprennent d'abord à estimer le rendement attendu de chaque action dans chaque état, puis définissent une politique en choisissant l'action dont la valeur estimée est la plus élevée. La distinction réside dans le fait que la politique ou la fonction de valeur soit l'objet principal de l'apprentissage.
Quelle méthode est la plus adaptée aux espaces d'action continus ?
Les méthodes basées sur les politiques sont généralement privilégiées pour les espaces d'actions continus, car elles peuvent fournir les paramètres d'une distribution continue, comme la moyenne et la variance d'une gaussienne. Les méthodes basées sur les valeurs rencontrent des difficultés, car elles doivent comparer toutes les actions possibles pour trouver la valeur maximale, ce qui est impossible lorsque les actions ont des valeurs réelles. Les méthodes acteur-critique, telles que DDPG et PPO, sont couramment utilisées dans ces contextes.
Pourquoi les gradients de politique présentent-ils une variance élevée ?
L'estimation du gradient de politique dépend de la trajectoire complète des états, des actions et des récompenses, qui peut varier considérablement d'un épisode à l'autre. Un seul déploiement réussi ou non peut modifier radicalement l'estimation du gradient. Des techniques comme les scénarios de référence, les fonctions d'avantage et l'estimation généralisée de l'avantage (EGA) sont utilisées pour réduire cette variance sans introduire de biais excessif.
L'apprentissage Q est-il une méthode basée sur les valeurs ou sur les politiques ?
L'apprentissage par renforcement Q-learning est une méthode basée sur la valeur. Il apprend la fonction de valeur d'action Q(s, a), qui estime le rendement attendu de l'action a dans l'état s. La politique est ensuite élaborée en sélectionnant l'action ayant la valeur Q la plus élevée, souvent avec un certain bruit d'exploration ajouté pendant l'entraînement.
Que sont les méthodes de l'acteur-critique ?
Les méthodes acteur-critique combinent des approches basées sur les politiques et sur la valeur. L'acteur représente une politique qui sélectionne les actions, tandis que le critique est une fonction de valeur qui évalue la pertinence de ces actions. L'évaluation du critique sert à réduire la variance des mises à jour du gradient de l'acteur. Parmi les exemples courants, on peut citer A2C, A3C, PPO et DDPG.
Les méthodes basées sur les valeurs peuvent-elles gérer les politiques stochastiques ?
Les méthodes classiques basées sur la valeur, comme l'apprentissage par renforcement (Q-learning), apprennent généralement des politiques déterministes en choisissant l'action ayant la valeur la plus élevée. Pour obtenir un comportement stochastique, il est nécessaire de modifier la règle de sélection des actions ou d'utiliser des variantes spécialisées. Les méthodes basées sur les politiques, quant à elles, produisent naturellement des politiques stochastiques car elles génèrent des distributions de probabilité sur les actions.
Quel est l'algorithme le plus populaire dans l'apprentissage par renforcement profond moderne ?
L'optimisation de politique proximale (PPO) est sans doute l'algorithme le plus utilisé aujourd'hui, notamment en robotique et en intelligence artificielle pour les jeux. C'est une méthode basée sur les politiques et intégrant des éléments de type acteur-critique. Cependant, les méthodes basées sur les valeurs, comme DQN et ses variantes, restent populaires pour les problèmes à actions discrètes, et SAC (Soft Actor-Critic) est un excellent choix pour le contrôle continu.
Les méthodes fondées sur des politiques ont-elles réellement besoin d'une fonction de valeur ?
Les méthodes purement basées sur des politiques, comme REINFORCE de base, ne nécessitent pas de fonction de valeur, bien qu'elles tirent souvent profit de son utilisation comme référence pour réduire la variance. Les variantes acteur-critique utilisent explicitement une fonction de valeur dans leur architecture. Ainsi, même si une fonction de valeur n'est pas strictement requise, elle est couramment incluse pour améliorer les performances.
Comment la réutilisation de l'expérience contribue-t-elle aux méthodes fondées sur les valeurs ?
La relecture d'expérience stocke les transitions passées dans une mémoire tampon et les échantillonne aléatoirement pendant l'entraînement. Cela rompt la corrélation entre les échantillons consécutifs, ce qui stabilise les gradients dans l'apprentissage par renforcement profond (Deep Q-learning). Cela permet également à l'agent d'apprendre de chaque expérience à plusieurs reprises, améliorant ainsi l'efficacité de l'échantillonnage. Les méthodes basées sur des politiques peuvent également utiliser des mémoires tampon de relecture, mais ce n'est pas un élément central de leur conception.
Existe-t-il des cas où les méthodes fondées sur les valeurs convergent plus rapidement que les méthodes fondées sur les politiques ?
Oui, dans de nombreux environnements à actions discrètes, les méthodes basées sur les valeurs convergent plus rapidement car elles peuvent propager directement l'information de valeur entre les états grâce à l'équation de Bellman. Les méthodes basées sur les politiques nécessitent souvent de nombreux épisodes pour estimer les gradients avec précision. Cependant, dans les espaces d'actions continus ou de grande dimension, la situation s'inverse et les méthodes basées sur les politiques deviennent plus pratiques.
Verdict
Privilégiez les méthodes basées sur des politiques lorsque votre problème implique des actions continues, nécessite une exploration stochastique naturelle ou lorsque vous souhaitez des mises à jour de politiques fluides et stables. Optez pour des méthodes basées sur la valeur pour les problèmes d'actions discrètes où l'efficacité de l'échantillonnage est cruciale et où vous pouvez tirer parti de la relecture d'expérience. Pour de nombreuses tâches concrètes, les approches hybrides acteur-critique offrent un compromis pratique qui combine les atouts des deux.
