apprentissage automatiquesystèmes de recommandationretour humainalgorithmes de classementintelligence artificielle
Apprentissage par paires des préférences vs modèles de notation absolue
L'apprentissage par paires de préférences entraîne les modèles en comparant directement deux éléments pour déterminer lequel est préféré, tandis que les modèles à score absolu évaluent les éléments indépendamment à l'aide d'échelles de notation fixes. Ces deux approches sous-tendent les systèmes de recommandation, le classement des résultats de recherche et l'alignement des systèmes d'IA sur les préférences humaines, mais elles diffèrent fondamentalement dans leur manière de saisir et de représenter le jugement humain.
Points forts
Les méthodes par paires éliminent les problèmes d'étalonnage des échelles qui affectent les évaluations absolues, car l'affirmation « A est meilleur que B » ne nécessite aucune compréhension numérique partagée.
Le système de notation absolue permet une agrégation et un seuillage simples, essentiels pour les décisions de modération de contenu qui nécessitent des limites claires.
L'alignement LLM moderne repose principalement sur des préférences par paires, car les annotateurs humains sont moins en désaccord lorsqu'ils comparent directement les résultats.
Le système Elo démontre comment les résultats des parties par paires peuvent générer implicitement des classements de compétences absolus, faisant le lien entre les deux approches.
Qu'est-ce que Apprentissage des préférences par paires ?
Approche de formation qui tire des enseignements des comparaisons relatives entre paires d'éléments plutôt que des évaluations individuelles.
Issue des sciences cognitives et de la psychométrie, elle a ensuite été adoptée dans l'apprentissage automatique.
Elle constitue le fondement de l'apprentissage par renforcement à partir de retours humains (RLHF) moderne dans des systèmes tels que ChatGPT et Claude.
Le modèle de Bradley-Terry (1952) a fourni un cadre mathématique initial pour l'analyse des préférences par paires.
Nécessite O(n²) comparaisons dans le pire des cas, bien que l'apprentissage actif réduise considérablement ce nombre.
Excellente capacité à saisir les jugements subjectifs lorsque les échelles absolues varient d'un individu à l'autre.
Qu'est-ce que Modèles de notation absolue ?
Modèles qui attribuent des scores numériques indépendants aux éléments en utilisant des critères d'évaluation cohérents.
Enracinée dans la psychométrie classique avec des échelles de Likert et des méthodologies de test standardisées
Largement utilisé dans la modération de contenu, les systèmes d'évaluation de produits et la notation académique.
Les systèmes d'étoiles sur Amazon, IMDB et Yelp représentent des exemples populaires de notation absolue.
On suppose généralement la transitivité et une utilisation cohérente de l'échelle par tous les évaluateurs.
Activer les opérations arithmétiques directes : moyenne, seuillage et agrégation statistique
Tableau comparatif
Fonctionnalité
Apprentissage des préférences par paires
Modèles de notation absolue
Mécanisme central
Comparez deux objets, apprenez la préférence relative
Attribuer un score indépendant à chaque élément
Exigences d'échelle
Préférence ordinale ou binaire suffisante
Nécessite une échelle d'intervalle ou de rapport calibrée
Cohérence des évaluateurs
Tolère les variations d'échelle individuelles
Suppose une interprétation uniforme de l'échelle
Hypothèse de transitivité
Modèles ou tests explicites de transitivité
Suppose implicitement la transitivité
Coût de calcul
Supérieur (quadratique en nombre d'éléments)
Inférieur (linéaire en nombre d'éléments)
l'effort humain
Davantage de comparaisons sont nécessaires, mais chacune est plus facile.
Moins d'évaluations nécessaires, mais chacune est plus difficile.
Interprétabilité des résultats
Classements et probabilités
scores numériques directs
Cas d'utilisation optimal
Préférences subjectives, esthétique, qualité
attributs objectifs, critères clairs
Comparaison détaillée
Philosophie fondamentale
L'apprentissage par paires de préférences considère le jugement comme fondamentalement comparatif. Lorsqu'on demande à quelqu'un s'il préfère les vacances A ou les vacances B, il répond généralement avec assurance. Si on lui demande d'évaluer chaque type de vacances sur une échelle de 1 à 10, les résultats sont incohérents. Les modèles de notation absolue, en revanche, supposent l'existence de critères universels que tous interpréteraient de la même manière. Cette divergence philosophique influence toutes les décisions ultérieures lors de la conception du système.
Collecte et annotation des données
Recueillir les préférences par paires est souvent plus simple pour les annotateurs. Cliquer sur « à gauche, c'est mieux » demande moins d'effort cognitif que d'attribuer des valeurs numériques précises. Cependant, il faut beaucoup plus d'étiquettes par paires pour établir un classement complet. La notation absolue permet d'agréger des données éparses : si dix personnes attribuent la note de 7/10 à un film, cela constitue un signal significatif. Avec les comparaisons par paires, les comparaisons manquantes créent des lacunes dans le graphique de classement, lacunes qui doivent être déduites.
Fondements mathématiques
Les méthodes par paires s'appuient sur la théorie du choix social et les algorithmes de classement des tournois. Le système de classement Elo aux échecs traduit les résultats des parties par paires en scores continus. Le système de notation absolue découle de la théorie classique des tests et de la théorie de la réponse à l'item, où les traits latents sont estimés à partir des réponses observées. Les approches neuronales modernes, comme le modèle de Bradley-Terry avec des plongements lexicaux profonds, combinent ces deux traditions.
Déploiement en situation réelle
Les modèles GPT-4 d'OpenAI et Claude d'Anthropic s'appuient fortement sur les préférences humaines par paires lors de leur entraînement RLHF. Des annotateurs humains comparent les résultats des modèles, et ces données de préférence permettent d'affiner les modèles de récompense. Netflix utilisait initialement un système de notation par étoiles (évaluation absolue), mais est passé à un système de pouces levés/baissés (évaluation par paires) après avoir constaté que ce dernier générait des signaux plus fiables. Le système de classement de Google Search combine les deux : des notes de pertinence absolues pour les paires requête-document, ainsi que des expériences d'entrelacement par paires pour une évaluation en temps réel.
Robustesse et modes de défaillance
L'évaluation absolue devient incohérente lorsque les évaluateurs utilisent des échelles différentes : un 5/10 pour une personne peut correspondre à un 7/10 pour une autre. Les méthodes par paires sont insensibles à ce problème d'échelle monotone, mais vulnérables aux préférences intransitives. Si A est meilleur que B, B meilleur que C, et C meilleur que A, le modèle doit résoudre ce cycle. Les préférences humaines réelles contreviennent souvent à la transitivité, ce qui pose de véritables défis philosophiques et pratiques aux deux approches.
Approches hybrides
Les systèmes sophistiqués combinent de plus en plus ces deux paradigmes. Les scores absolus servent de points de repère ; les comparaisons par paires affinent les classements. Certaines plateformes collectent les notes absolues, mais entraînent les modèles par paires en générant dynamiquement des paires de comparaison à partir de la distribution des notes. Cette stratégie hybride vise à allier l’efficacité de la collecte de notes absolues à la robustesse de l’apprentissage par paires.
Avantages et inconvénients
Apprentissage des préférences par paires
Avantages
+Robuste face aux variations d'échelle des évaluateurs
+Tâche d'annotation plus facile
+Capture les nuances subjectives
+Adaptation naturelle pour RLHF
+Évite la définition arbitraire des seuils
Contenu
−Croissance comparative quadratique
−Défis de classement incomplets
−gestion des préférences intransitives
−Plus difficile à expliquer aux utilisateurs
−Plus de données sont généralement nécessaires
Modèles de notation absolue
Avantages
+Sorties numériques directes
+Collecte de données efficace
+Méthodes d'agrégation simples
+Application de seuil clair
+Interface utilisateur familière
Contenu
−L'interprétation de l'échelle varie
−Effets d'ancrage courants
−Comparaison plus difficile entre les évaluateurs
−Problèmes de granularité forcée
−Moins fiable pour les éléments subjectifs
Idées reçues courantes
Mythe
Les méthodes par paires nécessitent toujours plus de données que les scores absolus.
Réalité
Bien que le nombre de comparaisons par paires augmente de façon quadratique, chaque annotation est plus rapide et plus fiable. Des études sur le crowdsourcing montrent qu'à précision égale, le temps total d'annotation est souvent plus court avec les méthodes par paires. L'efficacité dépend fortement des stratégies d'apprentissage actif qui sélectionnent les paires les plus informatives.
Mythe
Les scores absolus sont plus faciles à interpréter car ce sont des nombres.
Réalité
Une note de « 7 sur 10 » semble immuable, mais sa signification varie considérablement selon les cultures, les contextes et l'humeur de chacun. Des études sur l'inflation des notes montrent que les utilisateurs de Netflix qui attribuaient auparavant 3 étoiles donnent désormais un « j'aime » à un contenu identique. Les classements par paires reflètent souvent plus fidèlement le comportement réel des utilisateurs.
Mythe
Vous pouvez facilement convertir les scores absolus en classements par paires.
Réalité
Une simple comparaison des scores ignore l'incertitude et la confiance. Deux éléments notés 7,0 et 7,1 peuvent être statistiquement indiscernables, or une conversion naïve impose un classement. Une conversion correcte nécessite la modélisation de la variance des notes, ce qui réintroduit la complexité que les méthodes par paires gèrent nativement.
Mythe
Les préférences humaines sont naturellement transitives.
Réalité
Les recherches en psychologie démontrent systématiquement l'intransitivité des préférences réelles. On peut préférer une grande pizza pour des raisons de prix, une moyenne par commodité, mais une petite pour des raisons de santé, créant ainsi des cercles vicieux. Les deux approches de modélisation doivent prendre en compte cette réalité, les méthodes par paires disposant d'outils plus explicites à cet effet.
Mythe
Les méthodes par paires ne fonctionnent que pour les préférences binaires.
Réalité
Les cadres d'analyse par paires modernes prennent en charge les préférences nuancées, les ordres partiels et même les comparaisons multidimensionnelles. Le terme « par paires » fait référence à la structure de comparaison, et non au format de réponse. Les annotateurs peuvent exprimer l'intensité de leur préférence, leur incertitude ou formuler des jugements multidimensionnels au sein de ces cadres.
Questions fréquemment posées
Pourquoi Netflix est-il passé des étoiles au système de pouces levés/baissés ?
Netflix a constaté que les notes absolues ne permettaient pas de prédire avec précision les comportements de visionnage réels. Par exemple, un utilisateur peut attribuer cinq étoiles à un film d'auteur tout en regardant des séries télévisées en continu. Le système de pouces levés, bien que moins précis, a généré des signaux de préférence plus fiables pour son algorithme de recommandation. Ceci illustre une tendance plus générale : les préférences binaires ou par paires correspondent souvent mieux aux préférences exprimées que les notes absolues.
Comment fonctionne l'apprentissage des préférences par paires dans l'entraînement de ChatGPT ?
Lors de l'apprentissage par renforcement (RLHF), des annotateurs humains comparent les résultats de plusieurs modèles pour une même invite et indiquent lequel est le meilleur. Ces comparaisons permettent d'entraîner un modèle de récompense qui prédit les préférences humaines. Ce modèle guide ensuite l'ajustement fin du modèle par apprentissage par renforcement. Cette approche par paires était essentielle car l'évaluation absolue directe de la qualité conversationnelle s'est avérée peu fiable entre les annotateurs.
La notation absolue peut-elle un jour surpasser les méthodes par paires ?
Absolument. Pour évaluer des attributs objectifs et mesurables (résolution d'image, vitesse de chargement, exactitude des données), les échelles absolues aux critères clairs sont souvent suffisantes et nécessitent moins de données. Le diagnostic médical, le contrôle qualité en production et de nombreuses applications d'ingénierie tirent profit de ces cadres d'évaluation absolus. L'essentiel est d'adapter la méthode au type d'évaluation.
Qu’est-ce que le modèle Bradley-Terry et pourquoi est-il important ?
Le modèle de Bradley-Terry attribue à chaque élément un paramètre latent de « force », puis modélise la probabilité qu'un élément surpasse un autre à l'aide d'une fonction logistique de leur différence de force. Il constitue le fondement mathématique reliant les résultats par paires aux classements continus. Les variantes modernes d'apprentissage profond intègrent les éléments dans des espaces vectoriels où la distance encode la probabilité de préférence.
Comment gérez-vous les préférences intransitives dans les systèmes par paires ?
Plusieurs stratégies existent : détecter et exclure les annotateurs incohérents, modéliser explicitement le bruit dans le modèle de préférences, ou encore privilégier les classements partiels plutôt que d’imposer des classements complets. Certaines méthodes avancées considèrent l’intransitivité comme un signal – indiquant une prise de décision multicritère plutôt qu’une erreur – et la modélisent à l’aide de modèles de mélange ou de préférences contextuelles.
Pourquoi le système Elo est-il considéré comme un système de préférence par paires ?
Les joueurs d'échecs ne reçoivent jamais directement de « score de compétence » absolu. Ce sont plutôt les résultats des parties (comparaisons deux à deux) qui mettent à jour leur classement Elo. L'écart de classement entre deux joueurs permet de prédire la probabilité de victoire. Cet élégant système, développé par Arpad Elo en 1960, démontre comment des observations répétées par paires peuvent induire implicitement des échelles absolues pertinentes.
Les notes absolues disparaissent-elles complètement dans l'IA moderne ?
Absolument pas. Les notes absolues restent omniprésentes dans les avis sur les produits, les plateformes de téléchargement d'applications et les enquêtes. De nombreux systèmes hybrides utilisent les notes absolues pour le filtrage initial et des méthodes de comparaison par paires pour un classement plus précis. Le choix dépend de la décision spécifique à prendre et du coût des erreurs d'annotation.
Comment l'apprentissage actif réduit-il les coûts de comparaison par paires ?
Plutôt que de comparer toutes les paires possibles, les algorithmes d'apprentissage actif sélectionnent les comparaisons les plus pertinentes en fonction de l'incertitude actuelle du modèle. Si le modèle privilégie déjà nettement A par rapport à B, les comparer à nouveau est inutile. La sélection stratégique permet de réduire le nombre de comparaisons nécessaires de O(n²) à O(n log n), voire mieux, tout en préservant la précision du classement.
Qu’est-ce qui rend l’annotation par paires « plus facile » pour les humains ?
Les recherches en sciences cognitives montrent que le jugement comparatif sollicite moins la mémoire de travail que l'évaluation absolue. Évaluer un film de manière absolue implique de se référer à une échelle de qualité complète et de l'associer à cette échelle. Comparer deux films, en revanche, consiste simplement à déterminer lequel répond le mieux à vos critères. Cette charge cognitive réduite conduit souvent à des résultats plus cohérents.
Ces méthodes peuvent-elles être combinées au sein d'un seul système ?
De plus en plus, oui. Certaines plateformes collectent des notes absolues, mais en déduisent des données d'entraînement par paires. D'autres utilisent les scores absolus pour un regroupement grossier, puis des comparaisons par paires au sein de chaque groupe. Les recherches sur « l'apprentissage du classement » combinent souvent des approches ponctuelles (absolues), par paires et par liste, la combinaison optimale dépendant de la disponibilité des données et des exigences de la tâche.
Quels sont les principaux indicateurs d'évaluation pour chaque approche ?
Les méthodes par paires utilisent généralement le tau de Kendall, le gain cumulatif actualisé normalisé (NDCG) ou la précision de la prédiction des préférences non testées. L'évaluation absolue, quant à elle, recourt à l'erreur quadratique moyenne, à la corrélation de Pearson ou à des métriques de calibration. Il est important de noter qu'un modèle par paires peut être évalué par la qualité absolue des classements qu'il induit, et inversement ; toutefois, cela exige un choix judicieux des métriques.
Comment les différences culturelles influencent-elles ces approches ?
Les styles de réponse culturels influencent considérablement les évaluations absolues. Certaines cultures évitent les scores extrêmes et privilégient les notes moyennes. D'autres utilisent les échelles différemment selon les normes de politesse. Les méthodes par paires sont plus robustes face à ces effets, car elles ne reposent que sur un jugement relatif, même si les préférences culturelles varient. Les plateformes internationales doivent tenir compte de ces deux phénomènes lors de la collecte de données et de la conception des modèles.
Verdict
Privilégiez l'apprentissage par paires pour la capture des jugements subjectifs humains (qualité des recommandations, utilité du contenu ou préférences esthétiques) lorsque les échelles individuelles varient de manière imprévisible. Optez pour une notation absolue lors de l'évaluation d'attributs objectifs et bien définis, avec des critères stables, ou lorsque des opérations arithmétiques sont nécessaires sur les résultats. De nombreux systèmes de production combinent désormais les deux méthodes : notation absolue pour un filtrage grossier et raffinement par paires pour le classement final.
