人工知能機械学習LLMトレーニングモデルアライメントディープラーニング

事前学習と事後学習の最適化

事前学習では、膨大なデータセットからモデルの基礎知識を構築し、事後学習では、その基礎知識を特定のタスクや人間の操作に合わせて洗練させます。これら2つの段階は、現代のAI開発において不可欠であり、互いに競合するのではなく、補完的な役割を果たします。

ハイライト

事前学習では、数兆個のトークンからなる生データを用いて基礎知識を確立します。
学習後の最適化は、RLHFやDPOなどの手法を用いて、モデルを有用で安全かつタスクに特化したものにする。
事前学習には、事後学習に比べて桁違いに多くの計算コストがかかる。
現代のAI開発において、実践的なカスタマイズや調整の大部分は、トレーニング後に行われる。

事前トレーニングとは？

モデルが膨大な量の生テキストやデータから一般的なパターンを学習する初期トレーニング段階。

事前学習では通常、ウェブ、書籍、コードリポジトリから収集された、ラベル付けされていないデータ（数兆トークン）が消費される。
これは、次のトークン予測などの自己教師あり学習目標を使用します。これは、モデルがシーケンス内の次の単語を推測することによって学習するものです。
この段階はモデル開発の中で最も計算コストのかかる部分であり、GPU時間だけで数百万ドルもの費用がかかることも少なくない。
GPT-3、LLaMA、Claudeといったモデルはすべて、数千億ものパラメータを用いた大規模な事前学習から始まった。
結果として得られた基本モデルは、幅広い言語理解を捉えているものの、特定のタスクに関するスキルや安全性の整合性が欠けている。

トレーニング後の最適化とは？

事前学習後に適用される技術で、モデルの特化、アライメントの改善、タスクパフォーマンスの向上を目的としています。

トレーニング後の処理には、教師あり微調整（SFT）、人間からのフィードバックに基づく強化学習（RLHF）、および直接的な選好最適化（DPO）が含まれます。
RLHFは、OpenAIがInstructGPT、そして後にGPT-4で普及させたもので、モデルの有用性と安全性を向上させるために用いられた。
DPOはRLHFに代わるよりシンプルな方法として登場し、嗜好を直接最適化することで、別途報酬モデルを用意する必要性をなくした。
この段階では、通常、事前学習よりもはるかに少ない計算量で済み、数兆個ではなく数千個のサンプルを使用することが多い。
トレーニング後の段階には、構成的AI、ツール使用トレーニング、推論に焦点を当てた微調整などの手法も含まれる。

比較表

機能	事前トレーニング	トレーニング後の最適化
パイプライン段階	モデル開発の第一段階	事前トレーニングに従う
主な目標	一般知識とパターンを学ぶ	モデルを特化して調整する
データ要件	ラベルのない何兆ものトークン	数千から数百万のラベル付きサンプル
コストを計算する	非常に高額（数百万ドル）	中程度（数千ドル）
一般的なテクニック	自己教師あり学習、マスク言語モデリング	SFT、RLHF、DPO、憲法AI
出力	幅広い機能を備えたベースモデル	整列済み、タスク対応モデル
間隔	大規模なクラスターでは数週間から数ヶ月かかる	数時間から数日
可逆性	以降のすべての作業の出発点	繰り返したり調整したりできる

詳細な比較

AIパイプラインにおける目的と役割

事前学習は、モデルが膨大な量の生データから一般的な知識を吸収する基礎構築段階です。事前学習がなければ、モデルは言語、推論、世界の事実に関する基礎的な理解を全く持ちません。事後学習による最適化は、その基礎を基に、モデルが指示に従い、有害な要求を拒否し、特定のタスクで優れた成果を上げる方法を学ぶことで、有用なものへと形作ります。事前学習は一般教養の習得、事後学習はそれに続く専門的な職業訓練に例えることができます。

データおよびコンピューティング要件

これら2つの段階の規模の差は驚くほど大きい。事前学習には膨大なデータセット（しばしば数兆トークン）が必要で、数千台のGPU上で数週間から数ヶ月にわたって実行される。一方、事後学習ははるかに小規模で行われ、通常は数千から数百万のサンプルからなる厳選されたデータセットを使用する。そのため、事後学習は、既存のモデルをゼロから構築することなくカスタマイズしたい小規模チームや研究者にとって、はるかに利用しやすいものとなっている。

技術と方法

事前学習は自己教師あり学習に基づいており、モデルはシーケンス内の欠落トークンや次のトークンを予測することで、基本的に自ら学習します。事後学習の最適化には、指示と応答のペアに対する教師あり微調整、人間の好みランキングを使用して報酬モデルを学習するRLHF、アライメントプロセスを簡素化するDPOなどの新しい手法など、多様なツールキットが含まれます。それぞれの事後学習手法は、基本的な有用性から複雑な推論能力まで、異なる目標に対応しています。

モデルの動作への影響

事前学習済みモデル単体では、高度なオートコンプリート機能に過ぎず、一貫性のあるテキストを生成することはできますが、指示に確実に従ったり、安全に動作したりするとは限りません。事後学習こそが、生の言語モデルを、実際に対話したいと思えるチャットボットアシスタントへと変えるものです。事後学習で行われるアライメント作業によって、モデルが役に立つか、無害か、正直か、そしてニュアンスのある会話ができるかどうかが決まります。

柔軟性と反復性

事後学習は、最初からやり直すことなく繰り返し、組み合わせ、調整できるため、はるかに柔軟性に優れています。チームは医療用途向けにモデルを微調整した後、特定の病院のニーズに合わせてさらに最適化を適用できます。事前学習は、一度完了すると、誰もがその上に構築できる固定された基盤を生成します。これが、AIコミュニティが事後学習の研究に注力するようになった理由です。事後学習こそが、カスタマイズと差別化が最も迅速に実現される場所なのです。

長所と短所

事前トレーニング

長所

+ 幅広い知識基盤を構築する
+ 転移学習を可能にする
+ 多用途なファンデーションを作る
+ 世界の知識を捉える

コンス

− 非常に高価
− 膨大なデータセットが必要
− 長時間のトレーニング
− 特定のタスクに限定されない

トレーニング後の最適化

長所

+ 計算コストが大幅に削減
+ 高度にカスタマイズ可能
+ 安全性とアライメントが向上します
+ より速い反復サイクル

コンス

− ベースモデルの品質によって制限される
− 一般的な機能を低下させる可能性がある
− 品質ラベル付きデータが必要
− 過学習のリスク

よくある誤解

神話

事前学習だけでも、有用なAIアシスタントを作るのに十分だ。

現実

事前学習済みモデルは、基本的に高度なテキスト補完機能を持つものです。学習後の最適化を行わないと、指示に確実に従ったり、有害な要求を拒否したり、一貫性のある会話を維持したりすることはできません。すべての実運用チャットボットは、相当な学習後作業を必要とします。

神話

トレーニング後の最適化とは、単純な微調整のことです。

現実

現代の事後学習は、RLHF、DPO、構成的AI、推論重視型学習など、高度な技術群を包含しています。これらの手法は、複雑な報酬モデリング、選好学習、反復的な改良を伴い、基本的な教師あり微調整をはるかに超えています。

神話

事前学習を増やせば増やすほど、より良いモデルが得られる。

現実

研究によると、事前学習データの規模を単純に拡大しても、得られる効果は逓減することが示されています。この分野では、特に推論とアライメントに関する事後学習の改善が、事前学習のための計算量を増やすよりも大きな効果をもたらすことがますます認識されるようになってきています。

神話

RLHFとDPOは同じものです。

現実

どちらもモデルを人間の好みに合わせることを目指しているが、その動作原理は異なる。RLHFは強化学習を導くための報酬モデルを別途訓練するのに対し、DPOは報酬モデルを必要とせず、好みのペアを用いてポリシーを直接最適化する。DPOの方がシンプルだが、性能特性は異なる可能性がある。

神話

トレーニング後の処理によって、ベースモデルのあらゆる問題を修正できます。

現実

事後学習では、基本モデルに存在しない機能を追加することはできません。事前学習済みモデルに特定の知識や推論能力が欠けている場合、どれだけ微調整を重ねてもそれらを追加することはできません。事前学習時に構築された基盤が、その後に可能なことを制限します。

よくある質問

事前学習とファインチューニングの違いは何ですか？

事前学習とは、汎用的な能力を構築するために、大規模なラベルなしデータセットを用いて最初に行う大規模な学習のことです。ファインチューニングは、事前学習済みのモデルを、より小規模なラベル付きデータセットを用いて特定のタスクに適応させる、事後学習の一種です。ファインチューニングは、事後学習最適化というより広いカテゴリーに含まれる手法の一つです。

AIの安全性にとって、トレーニング後の最適化が重要なのはなぜですか？

学習後の段階で、モデルの整合性が図られます。RLHFのような手法は、有害な要求を拒否し、危険なコンテンツの生成を避け、人間の価値観に沿った行動をとるようにモデルを学習させます。学習後の段階を経ないと、事前学習済みのモデルは、その一般的な能力にもかかわらず、有害で偏った、あるいは危険な出力を生成する可能性があります。

事前トレーニングにかかる時間と事後トレーニングにかかる時間はどれくらい違うのでしょうか？

大規模モデルの事前学習には、通常、数千個のGPUを使用して数週間から数か月かかります。一方、学習後の最適化は、はるかに小規模な計算環境でも数時間から数日で完了します。計算能力の比率は1000:1以上になることもあり、そのため多くの組織は、モデルをゼロから構築するよりも、学習後の最適化に重点を置いています。

事前トレーニングをスキップして、直接事後トレーニングに進むことはできますか？

はい、既存の事前学習済みモデルを起点として使用する場合です。これはまさにほとんどのAI企業や研究者が行っていることで、オープンソースまたはAPIベースのモデルを取得し、事後学習技術を適用してカスタマイズします。事前学習を省略できるのは、適切なベースモデルが既に存在する場合のみです。

DPOとは何ですか？また、RLHFとはどのように異なりますか？

直接選好最適化（DPO）は、報酬モデルを別途学習させることなく、選好ペアに基づいてモデルを直接最適化することでアライメントを簡素化する、学習後の手法です。RLHFは報酬モデルの学習を含む3つの段階を必要としますが、DPOはこれらすべてを1つのよりシンプルなプロセスに統合します。DPOはより高速で安定していますが、若干異なる結果が生じる可能性があります。

トレーニング後の最適化には、どのくらいのデータが必要ですか？

必要なデータ量は手法によって異なります。教師ありファインチューニングでは、数千から数万の例が必要になる場合があります。RLHFでは通常、10万以上の選好比較データを使用します。DPOはRLHFと同程度のデータ量で動作します。これは、事前学習で使用される数兆トークンに比べると、はるかに少ない量です。

事後学習はモデルの性能を損なうのか？

事後学習は、特定のベンチマークにおいてパフォーマンスを低下させる場合があり、これはアライメント税と呼ばれる現象です。しかし、最新の技術によってこの問題はほぼ解消されています。適切に設計された事後学習は、ベースモデルの一般的な機能のほとんどを維持しながら、有用性と安全性を向上させます。

事前研修と事後研修のどちらに重点を置いている企業はどれですか？

OpenAI、Anthropic、Google DeepMind、Metaといった企業は、最先端モデルの事前学習に多額の投資を行っている。一方、他の多くの組織やAIスタートアップは、事後学習、つまり既存モデルを特定の業界、ユースケース、または改善点に合わせて微調整することに注力している。このエコシステムは、基盤となるモデルを構築する企業と、下流工程でカスタマイズを行う企業に二分されている。

AI開発パイプラインにおいて、トレーニング後の段階の次は？

トレーニング後、モデルは通常、評価、安全性を確保するためのレッドチーム演習、および量子化や蒸留などの展開最適化を受けます。思考連鎖の促進、ツールの活用、検索拡張生成などの推論時技術は、追加のトレーニングなしでパフォーマンスをさらに向上させることができます。

事前トレーニングの重要性は低下しつつあるのか？

事前学習は依然として不可欠ですが、AI分野では、次なる改善のフロンティアとして、事後学習と推論時の計算に注目が集まっています。拡張推論、テスト時の計算スケーリング、高度な微調整といった技術は大きな成果をもたらしており、AIの進歩の未来は、事前学習のスケーリングだけにとどまらないことを示唆しています。

評決

事前学習と事後学習の最適化は、互いに競合するアプローチではなく、どちらも非常に重要な連続した段階です。事前学習は、ゼロから新しい基盤モデルを構築し、幅広い機能が必要な場合に不可欠です。一方、事後学習の最適化は、既存のモデルを特定のユースケースに合わせて調整したいほとんどのチームにとって現実的な選択肢です。多くの組織にとって、事後学習は主要な研究機関が既に実施した研究成果に基づいているため、投資対効果が最も高くなります。