Sorgu Genişletme, arama sorgularını çalışma zamanında ek terimlerle dinamik olarak zenginleştirirken, Sabit Sorgu Gömme, sabit kalan önceden hesaplanmış vektör temsillerine dayanır. Her iki yaklaşım da bilgi erişimindeki kelime dağarcığı uyumsuzluğu sorununu ele alır, ancak esneklik, hesaplama maliyeti ve yeni içeriğe uyarlanabilirlik açısından önemli ölçüde farklılık gösterirler.
Arama sonuçlarını iyileştirme amacıyla orijinal sorguyu ilgili terimler, eş anlamlılar veya bağlamla zenginleştiren bir arama tekniği.
Sorguların önceden hesaplanmış yoğun vektör temsilleri, statik kalır ve çalışma zamanında değişiklik yapılmadan aramalar arasında yeniden kullanılır.
| Özellik | Sorgu Genişletme | Sabit Sorgu Gömme İşlemleri |
|---|---|---|
| Çekirdek Mekanizması | Çalışma zamanında sorguya terimler ekler. | Sorguyu statik vektöre kodlar. |
| Yeni İçeriğe Uyarlanabilirlik | Yüksek — yeni sinyalleri bünyesine katabilir | Düşük — antrenman sırasında donmuş halde |
| Sorgu Başına Hesaplama Maliyeti | Orta ila yüksek (LLM aramaları mümkün) | Düşük — tek kodlayıcı geçişi |
| Nadir Terimlerin Ele Alınması | Güçlü — açık terim eşleştirme | Zayıf — belirteçleyici kapsamına bağlı |
| Hassasiyet ve Geri Çağırma Arasındaki Denge | Hatırlama oranını artırır, ancak hassasiyeti düşürebilir. | Dengeli ancak veri kümesine bağlı |
| İndeksleme Gereksinimleri | Standart ters indeksli işlemler | Vektör indeksi gerektirir (FAISS, ScanN) |
| Tipik Kullanım Senaryoları | Sözcük tabanlı arama, hibrit erişim | Anlamsal arama, RAG işlem hatları |
| Yorumlanabilirlik | Yüksek şartlar görünür | Düşük — opak vektör uzayı |
Sorgu Genişletme, sorgunun metinsel gösterimi üzerinde çalışarak, eş anlamlıları, ilgili kavramları veya en yüksek sıralamalı belgelerden çıkarılan terimleri ekler. Sabit Sorgu Gömme ise temelde farklı bir yol izler: bir sinirsel kodlayıcı sorguyu sürekli bir vektöre dönüştürür ve benzerlik bu gömme uzayında ölçülür. Birincisi ayrık belirteçler dünyasında kalırken, ikincisi anlamı geometriye indirger.
Sorgu Genişletme, arama sırasında yeni terimler oluşturduğu için, gerçek belge koleksiyonuna, kullanıcı davranışına veya son trendlere tepki verebilir. Buna karşılık, Sabit Sorgu Gömülüleri eğitim sırasında oluşturulur ve yeniden eğitim yapılmadan kelime dağarcığı kaymasına veya yeni indekslenen içeriğe uyum sağlayamaz. Bu, genişletmeyi daha duyarlı hale getirir, ancak aynı zamanda çalıştırmalar arasında daha değişken olmasına da neden olur.
Sabit gömme yöntemleri, gecikmeye duyarlı uygulamalarda öne çıkar çünkü bir kodlayıcıdan tek bir ileri geçiş ucuzdur ve elde edilen vektör önbelleğe alınabilir. Sorgu genişletme, özellikle büyük dil modelleriyle desteklendiğinde, sorgu başına ek yük getirir. Bununla birlikte, genişletme, milyarlarca belge ölçeğinde gerçek bir yük olabilen vektör dizinini sürdürmenin ağır altyapı maliyetinden kaçınmayı sağlar.
Kısa ve belirsiz sorgular, ek bağlamın niyeti netleştirmesi nedeniyle genellikle genişletmeden fayda görür. Uzun ve iyi biçimlendirilmiş sorgular ise eklenen terimlerin orijinal sinyali sulandırması nedeniyle bazen genişletmeden zarar görür. Sabit gömme yöntemleri doğal dil sorularını sorunsuz bir şekilde ele alır, ancak kodlayıcının hiç öğrenmediği nadir özel isimler, teknik jargon veya yeni türetilmiş terimlerde takılıp kalır.
Günümüzdeki çoğu üretim arama sistemi bu iki fikri birleştiriyor. Yaygın bir model, anlamsal geri çağırma için Sabit Sorgu Gömme (Fixed Query Embeddings) ve sözcüksel hassasiyet için Sorgu Genişletme (Query Expansion) kullanır, ardından iki sonuç listesini birleştirir. HyDE (Hipotezsel Belge Gömme) gibi teknikler üzerine yapılan son araştırmalar, bir LLM kullanarak bir sahte belge oluşturup gömme işlemini gerçekleştirerek, genişletme ve gömme işlemlerini tek bir adımda birleştirerek çizgiyi daha da bulanıklaştırıyor.
Sorgu genişletme her zaman arama sonuçlarını iyileştirir.
Genişletme, hatırlama oranını artırır ancak eklenen terimler konu dışı olduğunda sıklıkla hassasiyeti düşürür. Kör genişletme, ilgili sonuçları gürültü içinde boğabilir; bu nedenle modern sistemler seçici veya öğrenilmiş genişletme stratejileri kullanır.
Sabit Sorgu Gömülüleri, onlara ilettiğiniz her kelimeyi anlar.
Kodlayıcılar, belirteçleyicileri ve eğitim verileriyle sınırlıdır. Yazım hataları, yeni ürün adları veya alana özgü jargon, modelin daha önce hiç görmediği alt kelimelere ayrılır ve bu da yetersiz temsillerle sonuçlanır.
Vektör tabanlı arama, geleneksel bilgi erişim yöntemlerini geçersiz kılıyor.
BM25 gibi sözcük tabanlı yöntemler, özellikle anahtar kelime ağırlıklı sorgular için birçok kıyaslamada yoğun arama yöntemlerinden hala daha iyi performans gösteriyor. En güçlü sistemler saf vektör tabanlı değil, hibrit sistemlerdir.
Sorgu genişletme artık önemini yitirmiş eski bir tekniktir.
query2doc ve HyDE gibi LLM destekli genişletme yöntemleri, alanı yeniden canlandırdı ve modern genişletmenin, basit kelime torbası yaklaşımlarından çok daha iyi performans gösterdiğini ortaya koydu.
Daha büyük gömme modelleri her zaman daha iyi veri alma anlamına gelir.
Azalan verim hızla devreye girer ve zorlu negatif veri madenciliğiyle iyi ayarlanmış küçük bir kodlayıcı, maliyetin çok küçük bir kısmıyla genellikle büyük bir modelle aynı performansı gösterir.
Metin kümeniz büyük olduğunda, sorgularınız nadir veya teknik terimler içerdiğinde ve yorumlanabilir, uyarlanabilir bir bilgiye erişmeniz gerektiğinde Sorgu Genişletme'yi seçin. Gecikme önemli olduğunda, sorgularınız doğal dil soruları olduğunda ve vektör indeksleme altyapısını karşılayabiliyorsanız Sabit Sorgu Gömme'yi seçin. Uygulamada, en güçlü sistemler bir tarafı seçmek yerine ikisini birlikte kullanır.
Açık kaynaklı LLM'ler, tam kod erişimiyle özelleştirilebilir, kendi kendine barındırılan yapay zeka modelleri sunarken, tescilli LLM API'leri ise bulut tabanlı uç noktalar aracılığıyla kullanım tabanlı fiyatlandırmayla yönetilen, geliştirilmiş hizmetler sağlar.
Açık kaynaklı modeller, eğitilmiş parametrelerini herkese açık bir şekilde yayınlayarak herkesin bunları indirmesine, incelemesine ve ince ayar yapmasına olanak tanır. Kapalı kaynaklı modeller ise ağırlıklarını gizli tutarak yalnızca API'ler veya barındırılan ürünler aracılığıyla erişim sağlar. Bu iki model arasındaki seçim, geliştiricilerin yapay zeka sistemlerini nasıl oluşturduklarını, dağıttıklarını ve onlara nasıl güvendiklerini şekillendirir.
Bu karşılaştırma, açık kaynaklı yapay zeka ile tescilli yapay zeka arasındaki temel farkları ele alıyor; erişilebilirlik, özelleştirme, maliyet, destek, güvenlik, performans ve gerçek dünya kullanım senaryolarını kapsıyor. Bu sayede kuruluşlar ve geliştiriciler, hangi yaklaşımın hedeflerine ve teknik yetkinliklerine uygun olduğunu belirleyebilir.
Ağ tabanlı makine öğrenimi, gecikme süresi, bant genişliği ve topoloji gibi ağ koşullarını doğrudan model tasarımına ve çıkarım kararlarına dahil ederken, yalnızca hesaplama odaklı makine öğrenimi, GPU gücü ve bellek gibi hesaplama kaynaklarına odaklanır. İlki dağıtılmış ortamlar için optimizasyon yaparken, ikincisi bol miktarda yerel hesaplama gücü olduğunu varsayar.
Ajan işbirliği ve merkezi model akıl yürütme, karmaşık yapay zeka problemlerini çözmeye yönelik iki farklı yaklaşımı temsil eder. Çoklu ajan sistemleri bilişsel süreçleri uzmanlaşmış düğümler arasında dağıtırken, merkezi akıl yürütme karar verme sürecini tek bir güçlü model içinde yoğunlaştırır. Her paradigma, ölçeklenebilirlik, yorumlanabilirlik ve görev performansı açısından benzersiz avantajlar ve dezavantajlar sunar.
