情報検索検索自然言語処理埋め込み人工知能

クエリ拡張と固定クエリ埋め込みの比較

クエリ拡張は、実行時に検索クエリに用語を追加することで動的にクエリを拡張するのに対し、固定クエリ埋め込みは、事前に計算された不変のベクトル表現に依存します。どちらのアプローチも情報検索における語彙の不一致問題に対処しますが、柔軟性、計算コスト、新しいコンテンツへの適応性において大きく異なります。

ハイライト

クエリ拡張はクエリテキスト自体を変更するのに対し、固定クエリ埋め込みはクエリテキストを一度だけベクトルにエンコードします。
拡張機能は実行時に新しいコンテンツに適応しますが、固定埋め込みはトレーニング後も固定されたままです。
推論速度では固定埋め込みが優れており、珍しい語彙の処理においては拡張埋め込みが優れている。
両方を組み合わせたハイブリッドシステムは、どちらか一方のアプローチ単独よりも一貫して優れた性能を発揮する。

クエリ拡張とは？

検索結果の再現率を向上させるために、元のクエリに関連語、同義語、または文脈情報を追加する検索手法。

クエリ拡張機能は、関連語、同義語、または擬似関連性フィードバック用語を追加することで検索クエリ自体を変更し、その後ドキュメントとの照合を行います。
古典的な手法としては、関連性が高いと判断された文書に基づいてクエリの重みを調整するロッキオ関連性フィードバックなどがある。
最新のニューラルネットワークを用いたアプローチでは、大規模な言語モデルを使用して、拡張されたクエリのバリエーションをその場で生成します。
この技術は、1970年代にロッキオやサルトンといった研究者によって、SMART情報検索システムの一部として体系化された。
クエリ拡張は通常、再現率を大幅に向上させますが、拡張語句にノイズが混入すると精度が低下する可能性があります。

クエリ埋め込みの固定とは？

クエリの事前計算された密なベクトル表現。これらは静的なままであり、実行時に変更されることなく、複数の検索で再利用される。

固定クエリ埋め込みは、BERTや文変換などの学習済みエンコーダーモデルを使用して、クエリを単一の密なベクトルにエンコードします。
一度計算された埋め込みは、コーパスや検索セッションによって変化することはありません。
検索は、事前にインデックス化された文書埋め込みに対する近似最近傍検索によって行われます。
DPR（Dense Passage Retrieval）やContrieverといったモデルは、オープン領域における質問応答において、このアプローチを普及させた。
固定埋め込みは推論が速いという利点があるが、エンコーダーがトレーニング中に見たことのない、まれな用語や未知語の処理に苦労する。

比較表

機能	クエリ拡張	クエリ埋め込みの固定
コアメカニズム	実行時にクエリに用語を追加します	クエリを静的ベクトルにエンコードします
新しいコンテンツへの適応力	高 — 新しいシグナルを取り込むことができる	低い — トレーニング時に凍結
クエリあたりの計算コスト	中程度から高度（LLM（法学修士）の面接の可能性あり）	低レベル - シングルエンコーダーパス
珍しい用語の取り扱い	強力な—明示的な用語のマッチング	弱い — トークナイザーのカバー率に依存する
精度と再現率のトレードオフ	記憶力は向上するが、精度は低下する可能性がある。	バランスが取れているが、組織に依存している
インデックス作成要件	標準の逆インデックスが機能します	ベクトルインデックス（FAISS、ScaNN）が必要です
典型的な使用例	語彙検索、ハイブリッド検索	セマンティック検索、RAGパイプライン
解釈可能性	高い — 条件が目に見える	低 — 不透明なベクトル空間

詳細な比較

内部構造はどのようになっているのか

クエリ拡張は、クエリのテキスト表現に基づいて動作し、上位にランク付けされたドキュメントから抽出された同義語、関連概念、または用語を追加します。固定クエリ埋め込みは、根本的に異なるアプローチをとります。ニューラルエンコーダがクエリを連続ベクトルにマッピングし、その埋め込み空間で類似性が測定されます。前者は離散的なトークンの世界にとどまるのに対し、後者は意味を幾何学的な空間に集約します。

柔軟性と適応性

クエリ拡張は検索時に新しい用語を生成するため、実際のドキュメントコレクション、ユーザーの行動、または最近の傾向に対応できます。一方、固定クエリ埋め込みはトレーニング時に固定されるため、再トレーニングを行わない限り、語彙の変化や新たにインデックス化されたコンテンツに対応できません。このため、クエリ拡張は応答性が高い反面、実行ごとにばらつきが大きくなります。

性能とコストに関する考慮事項

固定埋め込みは、エンコーダーを一度通過させるだけで済むため、レイテンシが重要なアプリケーションで威力を発揮します。また、生成されたベクトルをキャッシュすることも可能です。クエリ拡張は、特に大規模な言語モデルを使用する場合、クエリごとにオーバーヘッドが増加します。しかし、拡張によって、数十億ドキュメント規模では大きな負担となるベクトルインデックスの維持という、インフラストラクチャコストの増大を回避できます。

さまざまなクエリタイプにおける品質

短く曖昧なクエリは、追加のコンテキストによって意図が明確になるため、展開によってメリットが得られることが多い。一方、長く整ったクエリは、追加された用語によって元のシグナルが薄まるため、展開によってデメリットが生じる場合がある。固定埋め込みは自然言語の質問を適切に処理できるが、まれな固有名詞、専門用語、またはエンコーダーが学習していない新造語には対応できない。

ハイブリッド型および現代的なアプローチ

現在、ほとんどの検索システムは両方のアイデアを組み合わせています。一般的なパターンでは、意味的再現には固定クエリ埋め込み、語彙的精度にはクエリ拡張を使用し、2つの結果リストを統合します。HyDE（仮想文書埋め込み）などの技術に関する最近の研究では、LLMを使用して擬似文書を生成し、それを埋め込むことで、拡張と埋め込みを1つのステップに効果的に統合し、境界線をさらに曖昧にしています。

長所と短所

クエリ拡張

長所

+ 高い想起率
+ 解釈可能な用語
+ 珍しい単語も処理します
+ ベクトルインデックスは不要です

コンス

− 精度を損なう可能性がある
− レイテンシーが高い
− 膨張騒音リスク
− 重量調整が難しい

クエリ埋め込みの固定

長所

+ 高速推論
+ 意味的マッチング
+ キャッシュしやすい
+ 自然言語処理に強い

コンス

− トレーニング後の静止状態
− 不透明な挙動
− ベクトルインデックスが必要
− まれな条件で弱い

よくある誤解

神話

クエリ拡張は常に検索結果を向上させます。

現実

拡張は再現率を高めるが、追加された用語がトピックと無関係な場合、精度を低下させることが多い。無作為な拡張は関連性の高い結果をノイズに埋もれさせてしまう可能性があるため、現代のシステムでは選択的または学習型の拡張戦略が用いられている。

神話

固定クエリ埋め込みは、入力されたどんな単語でも理解します。

現実

エンコーダーは、トークナイザーとトレーニングデータによって制限されます。スペルミス、新しい製品名、あるいは専門用語などは、モデルがこれまで見たことのないサブワードに分割されてしまい、表現の質が低下することがよくあります。

神話

ベクトル検索は、従来の情報検索を時代遅れにする。

現実

BM25のような語彙検索手法は、特にキーワードを多く含むクエリにおいて、多くのベンチマークで依然として密な検索手法を凌駕している。最も強力なシステムは、純粋なベクトル検索ではなく、ハイブリッド型である。

神話

クエリ拡張は、もはや重要ではない古い技術です。

現実

query2docやHyDEといったLLMを活用した拡張手法は、この分野を活性化させ、現代的な拡張手法が単純な単語袋法を大幅に上回る性能を発揮することを示した。

神話

埋め込みモデルが大きいほど、検索結果の精度は向上する。

現実

収穫逓減の法則はすぐに現れ、適切に調整された小型エンコーダーとハードネガティブマイニングを組み合わせることで、大規模モデルと同等の性能をはるかに低いコストで実現できる場合が多い。

よくある質問

クエリ拡張と固定クエリ埋め込みの主な違いは何ですか？

クエリ拡張は、実行時に検索クエリに用語を追加して一致範囲を広げるのに対し、固定クエリ埋め込みはクエリを一度だけ単一の密なベクトルに変換して再利用します。前者はテキストを操作し、後者はジオメトリを操作します。

クエリ実行時において、どちらのアプローチが高速か？

固定クエリ埋め込みは、エンコーダーのパスが1回と最近傍検索のみで済むため、一般的に高速です。クエリ拡張では、複数のLLM呼び出しや擬似関連性フィードバックループが必要になる場合があり、レイテンシが増加します。

クエリ拡張と固定クエリ埋め込みを組み合わせることは可能ですか？

はい、そしてこれは本番環境ではますます標準になりつつあります。ハイブリッドパイプラインは両方のリトリーバーを実行し、相互ランク融合または学習済みのリランカーを使用して結果をマージすることで、それぞれの長所を活かします。

固定クエリ埋め込みは、なぜ稀な用語の処理に苦労するのでしょうか？

エンコーダーは、馴染みのない単語を、意図した意味を必ずしも伝えないサブワードに分割します。トレーニング中に単語に触れていないと、結果として得られるベクトルは基本的に推測に過ぎず、専門用語や全く新しい語彙の検索精度を低下させます。

クエリ拡張は、現代のAIシステムでもまだ使用されていますか？

まさにその通りです。HyDE、query2doc、ステップバックプロンプトなどの手法はすべて拡張原理に基づいており、多くの場合、大規模な言語モデルを使用して仮説的な回答や関連概念を生成し、下流の検索精度を向上させます。

固定クエリ埋め込みは、新しいドメインごとに再学習が必要ですか？

多くの場合、そうです。汎用エンコーダーは様々な分野でそれなりに機能しますが、医学や法律などの専門分野では、ドメインに特化したモデルの方が効果的です。ドメイン内のクエリとドキュメントのペアに対して微調整を行うことで、通常は大きな改善が得られます。

クエリ拡張における擬似関連性フィードバックとは何ですか？

これは、システムが最初の検索結果で上位にランク付けされた文書を関連性が高いと判断し、そこから頻繁に出現する用語を抽出してクエリを拡張する手法です。自動的に実行されますが、最初のランキングが低い場合はエラーが増幅される可能性があります。

どちらの方法がタイプミスやスペルミスをより適切に処理できますか？

固定クエリ埋め込みは、エンコーダーがあいまいな意味的マッチングを学習するため、タイプミスに対してより堅牢な傾向があります。一方、完全なトークンマッチングに基づくクエリ拡張は、スペル修正が上流に追加されない限り、スペルミスのある用語では完全に失敗します。

FAISSのようなベクトルインデックスは、固定クエリ埋め込みにどのように適合するのでしょうか？

FAISS、ScaNN、および同様のライブラリは、数百万または数十億の埋め込みベクトルに対して高速な近似最近傍探索を可能にします。これらがなければ、大規模な場合、厳密な類似性検索は極めて遅くなるでしょう。

クエリ拡張は短いクエリでもうまく機能しますか？

はい、短いクエリはそもそも情報が少ないため、最も効果を発揮することが多いです。関連語を追加することで、検索アルゴリズムはより多くの情報を得ることができますが、ユーザーの意図から逸脱しないように注意が必要です。

評決

コーパスが大規模で、クエリに珍しい用語や専門用語が含まれており、解釈可能で適応性の高い検索が必要な場合は、クエリ拡張を選択してください。レイテンシが重要で、クエリが自然言語の質問であり、ベクトルインデックスのインフラストラクチャを導入できる場合は、固定クエリ埋め込みを選択してください。実際には、最も優れたシステムはどちらか一方を選択するのではなく、両方を組み合わせて使用しています。