機械学習レコメンデーションシステム人間からのフィードバックランキングアルゴリズム人工知能

ペアワイズ選好学習と絶対スコアリングモデルの比較

ペアワイズ選好学習は、2つのアイテムを直接比較してどちらが好ましいかを判断することでモデルを訓練する一方、絶対スコアリングモデルは、固定の評価尺度を用いてアイテムを個別に評価します。どちらのアプローチも、AIシステムにおける推薦システム、検索ランキング、および人間の選好の整合に活用されていますが、人間の判断をどのように捉え、表現するかという点で根本的に異なります。

ハイライト

ペアワイズ法は、「AはBより優れている」という表現に共通の数値的理解を必要としないため、絶対評価につきものの尺度較正の問題を解消する。
絶対スコアリングは、集計と閾値設定を容易にし、明確な境界線が必要なコンテンツモデレーションの意思決定において不可欠となる。
現代のLLMアライメントは、主にペアワイズ選好に依存している。これは、人間のアノテーターが出力結果を直接比較する場合、意見の相違が少なくなるためである。
Eloシステムは、対戦結果から暗黙のうちに絶対的なスキル評価を生成できることを示しており、両方のアプローチを結びつけている。

ペアワイズ選好学習とは？

個々の評価ではなく、項目ペア間の相対的な比較から学習するトレーニング手法。

認知科学と心理測定学で生まれた概念で、その後機械学習に採用された。
ChatGPTやClaudeなどのシステムにおける現代のRLHF（人間からのフィードバックに基づく強化学習）の基礎を形成する。
ブラッドリー・テリーモデル（1952年）は、ペアワイズ選好分析のための初期の数学的枠組みを提供した。
最悪の場合O(n²)回の比較が必要となるが、アクティブラーニングによってこれが大幅に削減される。
個人によって絶対的な尺度が異なる主観的な判断を捉えることに優れている

絶対スコアリングモデルとは？

一貫した評価基準を用いて、項目に独立した数値スコアを割り当てるモデル。

リッカート尺度と標準化されたテスト手法を用いた古典的な心理測定学に基づいている
コンテンツモデレーション、製品評価システム、学業成績評価などに広く活用されている。
Amazon、IMDb、Yelpの星評価は、一般的な絶対スコアリング方式の一例である。
一般的に、推移性と、すべての評価者による一貫した尺度の使用を前提とする。
直接的な算術演算（平均化、閾値処理、統計的集計）を有効にする

比較表

機能	ペアワイズ選好学習	絶対スコアリングモデル
コアメカニズム	2つのアイテムを比較し、相対的な好みを把握する。	各項目に独立したスコアを割り当てる
規模要件	順序尺度または二値尺度の選好で十分	校正済みの間隔尺度または比率尺度が必要
評価者の一貫性	個体差によるスケールのばらつきを許容する	スケールの解釈が統一されていることを前提としている
推移性の仮定	推移性を明示的にモデル化またはテストする	推移性を暗黙のうちに仮定している
計算コスト	高い（アイテム数の二次関数的増加）	低い（アイテム数に対して線形）
人間の努力	さらなる比較が必要だが、それぞれはより簡単だ	評価の数は減るが、一つ一つの評価はより難しくなる
出力の解釈可能性	ランキングと確率	直接的な数値スコア
最適な使用例	主観的な好み、美意識、品質	客観的な属性、明確な基準

詳細な比較

基礎哲学

ペアワイズ選好学習は、判断を根本的に比較に基づいていると捉えます。誰かに休暇Aと休暇Bのどちらが良いかと尋ねると、たいていは自信を持って答えることができます。しかし、それぞれの休暇を1～10の尺度で評価してもらうと、結果はまちまちになります。一方、絶対スコアリングモデルは、誰もが同じように解釈できる普遍的な基準を構築できると仮定します。この哲学的な違いが、システム設計におけるあらゆる意思決定に影響を与えます。

データ収集と注釈

ペアワイズ評価の収集は、アノテーターにとって負担が少ないと感じることが多い。「左の方が優れている」をクリックする方が、正確な数値を割り当てるよりも認知負荷が少ないからだ。しかし、完全なランキングを作成するには、ペアワイズ評価のラベルがかなり多く必要となる。絶対スコアリングでは、まばらなデータを集約できる。例えば、10人が映画を7/10と評価した場合、それは意味のあるシグナルとなる。ペアワイズ評価では、比較対象が欠落しているため、ランキンググラフにギャップが生じ、それを推測する必要がある。

数学的基礎

ペアワイズ法は、社会的選択理論やトーナメントランキングアルゴリズムと関連しています。チェスのEloレーティングシステムは、ペアワイズのゲーム結果を連続的なスコアに変換します。絶対スコアリングは、古典的テスト理論と項目反応理論に由来し、観察された反応から潜在特性を推定します。ディープエンベディングを用いたブラッドリー・テリーモデルのような最新のニューラルネットワークアプローチは、これら両方の伝統を融合させたものです。

実世界での展開

OpenAIのGPT-4とAnthropicのClaudeは、RLHFトレーニング中にペアワイズの人間の好みに大きく依存しています。人間のアノテーターがモデルの出力を比較し、好みのデータによって報酬モデルが微調整されます。Netflixは従来、星評価（絶対値）を使用していましたが、後者の方がより信頼性の高いシグナルを生成することを発見した後、親指を立てる/下げる（実質的にペアワイズ）に切り替えました。Google検索のランキングは、クエリとドキュメントのペアに対する絶対的な関連性グレードと、ライブ評価のためのペアワイズのインターリーブ実験の両方を組み合わせています。

堅牢性と故障モード

評価者が尺度を異なる方法で用いる場合、絶対スコアリングは破綻する。ある人にとっての5/10が、別の人にとっては7/10に相当する可能性がある。ペアワイズ法はこの単調な尺度の問題には影響されないが、非推移的な選好には脆弱である。AがBに勝ち、BがCに勝ち、さらにCがAに勝つ場合、モデルはこの循環を解消する必要がある。実際の人間の選好はしばしば推移律に反するため、どちらのアプローチにも哲学的、実践的な真の課題が生じる。

ハイブリッドアプローチ

高度なシステムでは、両方のパラダイムを組み合わせるケースが増えている。絶対スコアは基準点として機能し、ペアワイズ比較によってランキングを洗練させる。一部のプラットフォームでは絶対評価を収集するが、評価分布から比較ペアを動的に生成することでペアワイズモデルを学習させる。このハイブリッド戦略は、絶対スコア収集の効率性とペアワイズ学習の堅牢性を兼ね備えようとするものである。

長所と短所

ペアワイズ選好学習

長所

+ 評価者による尺度のばらつきに強い
+ 注釈付け作業がより簡単
+ 主観的なニュアンスを捉える
+ RLHFにぴったり
+ 恣意的なしきい値設定を回避する

コンス

− 二次比較成長
− ランキングチャレンジが完了していません
− 非推移的な選好処理
− ユーザーへの説明が難しい
− 通常、より多くのデータが必要となる

絶対スコアリングモデル

長所

+ 直接的な数値出力
+ 効率的なデータ収集
+ 単純な集計方法
+ 明確な閾値アプリケーション
+ 使い慣れたユーザーインターフェース

コンス

− スケールの解釈は様々です
− アンカリング効果は一般的である
− 評価者間の比較がより困難になる
− 強制的な粒度の問題
− 主観的な項目には信頼性が低い

よくある誤解

神話

ペアワイズ法は、絶対スコアリングよりも常に多くのデータを必要とする。

現実

ペアワイズ比較の回数は二乗に比例して増加するものの、各アノテーションはより高速かつ信頼性が高い。クラウドソーシングに関する研究では、同等の精度目標の場合、総アノテーション時間ではペアワイズ法が有利となることが多いことが示されている。この効率性は、情報量の多いペアを選択するアクティブラーニング戦略に大きく依存する。

神話

絶対スコアは数値であるため、解釈しやすい。

現実

「10点満点中7点」という評価は具体的そうに見えますが、その意味は文化、状況、個人の気分によって大きく変化します。評価インフレに関する研究によると、以前は3つ星を付けていたNetflixユーザーが、同じコンテンツに対して今では高評価を付けていることが分かっています。ペアワイズランキングの方が、実際のユーザー行動に安定して反映されることが多いようです。

神話

絶対スコアをペアワイズランキングに変換するのは簡単です。

現実

単純なスコア比較では、不確実性や確信度が考慮されません。7.0と7.1と評価された2つの項目は統計的に区別できない可能性がありますが、単純な変換では順序付けが強制されます。適切な変換には評価のばらつきをモデル化する必要があり、これはペアワイズ法が本来的に扱う複雑さを再び導入することになります。

神話

人間の嗜好は本質的に推移的である。

現実

心理学研究は、実際の嗜好には非推移性があることを一貫して示している。人々は価格面では大きいピザを好み、利便性では中くらいのピザを好み、健康面では小さいピザを好むなど、循環的な嗜好を生み出す。どちらのモデリング手法も、この現実に対処するか、あるいは無視する必要があるが、ペアワイズ法の方がより明確なツールを備えている。

神話

ペアワイズ法は、二値的な選好にのみ有効です。

現実

最新のペアワイズフレームワークは、段階的な選好、部分的な順序、さらには多面的な比較にも対応します。「ペアワイズ」という名称は、回答形式ではなく、比較構造を指します。アノテーターは、ペアワイズフレームワーク内で、選好の強さ、不確実性、または多次元的な判断を表現できます。

よくある質問

Netflixはなぜ星評価から高評価／低評価に切り替えたのか？

Netflixは、星評価だけでは実際の視聴行動を正確に予測できないことを発見した。ユーザーは芸術映画に星5つを付けても、シットコムを一気見することがある。親指マークシステムは、星評価ほどではないものの、推薦アルゴリズムにとってより信頼性の高い嗜好シグナルを生成した。これは、より広範な傾向を示している。つまり、絶対的な評価よりも、ペアワイズまたはバイナリの嗜好の方が、明らかにされた嗜好とよりよく相関することが多いのだ。

ChatGPTのトレーニングにおいて、ペアワイズ選好学習はどのように機能するのですか？

RLHFでは、人間のアノテーターが同じプロンプトに対する複数のモデル出力を比較し、どれが優れているかを示します。これらの比較によって、人間の好みを予測する報酬モデルが訓練されます。そして、この報酬モデルは強化学習による微調整を導きます。会話の質を直接的に絶対スコアリングする方法はアノテーター間で信頼性に欠けることが判明したため、このペアワイズアプローチが重要でした。

絶対スコアリングは、ペアワイズ法よりも優れた結果を出すことができるのだろうか？

まさにその通りです。画像解像度、読み込み速度、事実の正確性といった客観的で測定可能な属性を評価する場合、明確な基準を持つ絶対尺度で十分な場合が多く、必要なデータも少なくて済みます。医療診断のスコアリング、製造品質管理、そして多くの工学分野では、絶対尺度を用いた評価が有効です。重要なのは、評価方法と評価対象を一致させることです。

ブラッドリー・テリーモデルとは何ですか？また、なぜ重要なのでしょうか？

ブラッドリー・テリーモデルは、各項目に潜在的な「強さ」パラメータを割り当て、その強さの差のロジスティック関数を用いて、ある項目が別の項目に勝つ確率をモデル化します。これは、ペアワイズの結果と連続的なランキングを結びつける数学的な基盤となります。最新の深層学習の派生モデルでは、項目をベクトル空間に埋め込み、距離が選好確率を符号化します。

ペアワイズシステムにおける非推移的な選好はどのように扱いますか？

矛盾する注釈者を検出して除外する、選好モデルにノイズを明示的に組み込む、完全な順位付けを強制するのではなく部分順序を採用するなど、いくつかの戦略が存在する。高度な手法の中には、非推移性をエラーではなく多基準意思決定を示すシグナルとして扱い、混合モデルや文脈依存の選好を用いてモデル化するものもある。

なぜEloはペアワイズ選好システムとみなされるのか？

チェスプレイヤーは、絶対的な「チェスのスキルスコア」を直接受け取ることはありません。代わりに、対局結果（ペアワイズ比較）によってEloレーティングが更新されます。2人のプレイヤー間のレーティングの差は、勝率を予測します。1960年にアルパド・エロによって開発されたこの洗練されたシステムは、繰り返し行われるペアワイズ比較によって、意味のある絶対的な尺度を暗黙のうちに導き出すことができることを示しています。

現代のAIにおいて、絶対評価は完全に消滅するのだろうか？

いいえ、全く違います。絶対評価は、製品レビュー、アプリストア、アンケート調査において依然として広く用いられています。多くのハイブリッドシステムでは、初期フィルタリングに絶対評価を用い、より詳細なランキングにはペアワイズ法を採用しています。どちらを選択するかは、具体的な意思決定の内容と、アノテーションエラーによるコストによって異なります。

アクティブラーニングは、ペアワイズ比較のコストをどのように削減するのか？

アクティブラーニングアルゴリズムは、考えられるすべてのペアを比較するのではなく、現在のモデルの不確実性に基づいて最も有益な比較を選択します。モデルがすでにAをBよりも強く好んでいる場合、それらを再度比較することは無駄な労力です。戦略的な選択により、ランキング精度を維持しながら、必要な比較回数をO(n²)からO(n log n)以下に削減できます。

ペアワイズアノテーションが人間にとって「簡単」になる要因は何ですか？

認知科学の研究によると、比較判断は絶対評価よりもワーキングメモリをあまり必要としないことが分かっています。映画を絶対的に評価する場合、作品全体の品質基準を念頭に置き、その基準に照らし合わせる必要があります。一方、2つの映画を比較する場合は、どちらが自分の基準をより満たしているかを判断するだけで済みます。このように認知負荷が軽減されることで、より一貫性のある結果が得られることが多いのです。

これらの手法を単一のシステムに統合することは可能でしょうか？

はい、ますますその傾向が強まっています。一部のプラットフォームは絶対評価を収集しますが、そこからペアワイズ学習データを導き出します。また、絶対スコアを大まかな分類に使用し、その後、分類されたグループ内でペアワイズ比較を行うプラットフォームもあります。「ランキング学習」に関する研究では、ポイントワイズ（絶対値）、ペアワイズ、リストワイズのアプローチを組み合わせることが多く、最適な組み合わせはデータの入手可能性とタスクの要件によって異なります。

それぞれの手法における主な評価指標は何ですか？

ペアワイズ法では、一般的にケンドールのτ、正規化割引累積利得（NDCG）、または保留選好の予測精度が用いられます。絶対スコアリングでは、平均二乗誤差、ピアソン相関係数、または較正指標が用いられます。重要なのは、ペアワイズモデルは、その誘導されたランキングの絶対的な品質によって評価でき、またその逆も可能であるということです。ただし、これには慎重な指標の選択が必要です。

文化的な違いは、これらのアプローチにどのような影響を与えるのでしょうか？

文化的な反応様式は、絶対評価に大きな影響を与える。極端な評価を避け、評価を中央値に集約する文化もあれば、礼儀作法の規範に基づいて尺度を異なる方法で使用する文化もある。ペアワイズ法は相対的な判断のみを必要とするため、こうした影響に対して比較的頑健であるが、文化的な嗜好自体には依然としてばらつきがある。グローバルなプラットフォームは、データ収集とモデル設計において、これら両方の現象を考慮に入れなければならない。

評決

個人の評価尺度が予測不可能に変動する主観的な人間の判断（推薦の質、コンテンツの有用性、美的嗜好など）を捉える場合は、ペアワイズ選好学習を選択してください。客観的で明確に定義された属性を安定した基準で評価する場合、または出力に対して算術演算が必要な場合は、絶対スコアリングを選択してください。現在、多くの実運用システムでは、大まかなフィルタリングには絶対評価、最終的なランキングにはペアワイズによる精緻化というように、両方を組み合わせて使用しています。