Çift aşamalı görüntü anlama, daha derin bir kavrayış için görsel verileri iki ardışık aşamada işlerken, tek aşamalı görüntü kodlama, hız ve verimlilik için özellikleri tek bir ileri geçişte çıkarır. Her iki yaklaşım da modern bilgisayar görüşü ve çok modlu yapay zeka sistemlerinde farklı önceliklere hizmet eder.
Görüntünün önce özellikler açısından, ardından daha üst düzey mantıksal çıkarımlar veya iyileştirmeler için işlendiği iki aşamalı bir yaklaşım.
Görüntüyü ağ üzerinden tek bir ileri geçişte doğrudan bir temsile dönüştüren tek aşamalı bir yöntem.
| Özellik | Çift Geçişli Görüntü Anlama | Tek Geçişli Görüntü Kodlaması |
|---|---|---|
| İşleme Aşamaları | İki ardışık geçiş | Bir ileri pas |
| Tipik Gecikme | Çift hesaplama nedeniyle daha yüksek | Daha düşük, hız için optimize edilmiş |
| Akıl Yürütme Derinliği | Daha derin anlamsal anlayış | Yüzey seviyesinde özellik çıkarımı |
| Hafıza İzi | Daha büyük, ara özellikler depolar | Daha küçük, tek gömme çıktısı |
| En İyi Kullanım Örnekleri | VQA, altyazı, görsel akıl yürütme | Bilgi alma, sınıflandırma, gerçek zamanlı çıkarım |
| Örnek Modeller | LLaVA, InstructBLIP, Flamingo | CLIP, ViT, DINOv2 |
| İnce Taneli Doğruluk | Karmaşık görevlerde daha yüksek performans | Orta düzeyde, kodlayıcı boyutuna bağlı. |
| Ölçeklenebilirlik | Ölçeklendirilmesi daha karmaşık | Ölçeklendirilmesi ve paralelleştirilmesi daha kolay |
Çift aşamalı görüntü anlama, görsel işlemeyi iki ayrı aşamaya ayırır: ham görsel özellikler üreten ilk kodlama aşaması ve ardından bu özelliklere bağlı olarak gerçekleşen bir akıl yürütme veya iyileştirme aşaması. Tek aşamalı görüntü kodlama ise bunu tek bir işleme indirger; burada kodlayıcı doğrudan nihai bir temsil üretir. Çift yaklaşım, insanların bir görüntüyü önce nasıl algıladığını ve sonra nasıl yorumladığını yansıtırken, tek aşamalı yöntem hesaplama verimliliğine öncelik verir.
Görsel soru cevaplama veya detaylı görüntü açıklaması gibi incelikli anlayış gerektiren görevlerde, çift geçişli sistemler genellikle tek geçişli kodlayıcılardan daha iyi performans gösterir çünkü ikinci geçiş belirli bölgelere odaklanabilir veya dil güdümlü akıl yürütme uygulayabilir. Tek geçişli kodlayıcılar, görüntü sınıflandırması veya benzerlik araması gibi daha basit görevlerde, kompakt bir gömme işleminin doğru tahminler yapmak için yeterli bilgi taşıdığı durumlarda üstünlük sağlar.
İki aşamalı kodlama, FLOP ve bellek açısından çıkarım maliyetini yaklaşık iki katına çıkarır; ancak akıllı uygulamalar, aşamalar arasında hesaplamaları paylaşabilir. Gecikmenin önemli olduğu durumlarda, örneğin mobil uygulamalarda, otonom araç algılamasında veya milyarlarca görüntünün hızlı bir şekilde kodlanması gereken büyük ölçekli görüntü alma sistemlerinde, tek aşamalı kodlama tercih edilir.
Çift geçişli tasarımlar, modern çok modlu büyük dil modellerinde standart haline gelmiştir çünkü bir görsel kodlayıcının, daha sonra bu belirteçler üzerinde ikinci bir akıl yürütme geçişi gerçekleştiren bir dil modeline belirteçler beslemesine olanak tanırlar. Tek geçişli kodlayıcılar, amacın bir yanıt üretmekten ziyade yeniden kullanılabilir bir gömme oluşturmak olduğu, geri alma destekli sistemlerde ve karşılaştırmalı öğrenme çerçevelerinde daha yaygındır.
Çift geçişli mimariler daha esnektir çünkü ikinci aşama, farklı alt görevler için bağımsız olarak değiştirilebilir veya ince ayar yapılabilir. Tek geçişli kodlayıcılar çıkarım zamanında daha az esneklik sunar, ancak birçok uygulamada değişiklik yapılmadan bağımsız özellik çıkarıcılar olarak dağıtılması daha kolaydır.
Çift geçişli yöntem, tek geçişli yönteme göre her zaman daha iyi sonuçlar verir.
Çift geçişli tasarımlar, mantık yürütme ağırlıklı görevlerde doğruluğu artırır ancak ek hesaplamanın sinyal yerine gürültü eklediği basit sınıflandırma veya bilgi alma kıyaslamalarında tek geçişli kodlayıcılara göre daha düşük performans gösterebilir. Doğru seçim tamamen sonraki göreve ve kısıtlamalara bağlıdır.
Tek geçişli kodlayıcılar dil modelleriyle kullanılamaz.
Birçok üretim sistemi, ilgili görüntüleri almak için CLIP gibi tek geçişli kodlayıcılar kullanır ve ardından bu sonuçları üretim için bir dil modeline iletir. Bu iki yaklaşım birbirini dışlamaktan ziyade tamamlayıcı niteliktedir.
Çift geçişli işlem, görüntünün aynı ağ tarafından iki kez işlenmesi anlamına gelir.
Pratikte, iki aşama genellikle farklı modüller kullanır. İlk aşama tipik olarak bir görsel dönüştürücü veya CNN iken, ikinci aşama çapraz dikkat katmanı veya görsel belirteçler üzerinde akıl yürüten bir dil modeli olabilir.
Tek geçişli kodlama artık geçerliliğini yitirmiş bir teknolojidir.
Tek geçişli kodlayıcılar, karşılaştırmalı öğrenme, sıfır atışlı sınıflandırma ve büyük ölçekli görüntü arama gibi birçok uygulama için en gelişmiş teknoloji olmaya devam etmektedir. DINOv2 ve SigLIP gibi modeller, tek geçişli tasarımlarla sınırları zorlamaya devam etmektedir.
Çift geçişli sistemler üretim kullanımı için çok yavaştır.
Anahtar-değer önbellekleme, erken çıkış stratejileri ve paylaşımlı omurgalar gibi optimizasyonlar, çift geçişli sistemleri üretim için pratik hale getirmiştir. Birçok ticari çok modlu API, arka planda çift geçişli mimariler kullanmaktadır.
Uygulamanız, görüntüler hakkında soruları yanıtlamak veya ayrıntılı açıklamalar oluşturmak gibi derin görsel akıl yürütme gerektiriyorsa ve ek işlem gücünü karşılayabiliyorsanız, çift geçişli görüntü anlama yöntemini seçin. Hız, ölçeklenebilirlik ve gömme yeniden kullanımının en önemli olduğu durumlarda, özellikle arama işlem hatlarında veya gerçek zamanlı sistemlerde, tek geçişli görüntü kodlamayı tercih edin.
Açık kaynaklı LLM'ler, tam kod erişimiyle özelleştirilebilir, kendi kendine barındırılan yapay zeka modelleri sunarken, tescilli LLM API'leri ise bulut tabanlı uç noktalar aracılığıyla kullanım tabanlı fiyatlandırmayla yönetilen, geliştirilmiş hizmetler sağlar.
Açık kaynaklı modeller, eğitilmiş parametrelerini herkese açık bir şekilde yayınlayarak herkesin bunları indirmesine, incelemesine ve ince ayar yapmasına olanak tanır. Kapalı kaynaklı modeller ise ağırlıklarını gizli tutarak yalnızca API'ler veya barındırılan ürünler aracılığıyla erişim sağlar. Bu iki model arasındaki seçim, geliştiricilerin yapay zeka sistemlerini nasıl oluşturduklarını, dağıttıklarını ve onlara nasıl güvendiklerini şekillendirir.
Bu karşılaştırma, açık kaynaklı yapay zeka ile tescilli yapay zeka arasındaki temel farkları ele alıyor; erişilebilirlik, özelleştirme, maliyet, destek, güvenlik, performans ve gerçek dünya kullanım senaryolarını kapsıyor. Bu sayede kuruluşlar ve geliştiriciler, hangi yaklaşımın hedeflerine ve teknik yetkinliklerine uygun olduğunu belirleyebilir.
Ağ tabanlı makine öğrenimi, gecikme süresi, bant genişliği ve topoloji gibi ağ koşullarını doğrudan model tasarımına ve çıkarım kararlarına dahil ederken, yalnızca hesaplama odaklı makine öğrenimi, GPU gücü ve bellek gibi hesaplama kaynaklarına odaklanır. İlki dağıtılmış ortamlar için optimizasyon yaparken, ikincisi bol miktarda yerel hesaplama gücü olduğunu varsayar.
Ajan işbirliği ve merkezi model akıl yürütme, karmaşık yapay zeka problemlerini çözmeye yönelik iki farklı yaklaşımı temsil eder. Çoklu ajan sistemleri bilişsel süreçleri uzmanlaşmış düğümler arasında dağıtırken, merkezi akıl yürütme karar verme sürecini tek bir güçlü model içinde yoğunlaştırır. Her paradigma, ölçeklenebilirlik, yorumlanabilirlik ve görev performansı açısından benzersiz avantajlar ve dezavantajlar sunar.
