Takviyeli öğrenmedeki keşif stratejileri, ajanların alışılmadık ortamlarda ödüllendirici davranışları keşfetmelerine yardımcı olurken, denetimli öğrenmedeki veri artırma, model genellemesini iyileştirmek için eğitim veri kümelerini genişletir. Her ikisi de veri kıtlığıyla başa çıkar ancak temelde farklı öğrenme paradigmalarında çalışırlar.
Takviyeli öğrenme ajanlarının en uygun politikaları öğrenmek için yeni durumlar ve eylemler keşfetmelerine yardımcı olan yöntemler.
Mevcut örneklerin değiştirilmiş versiyonlarını oluşturarak eğitim veri kümelerini yapay olarak genişleten teknikler.
| Özellik | Takviyeli Öğrenmede Keşif Stratejileri | Denetimli Öğrenmede Veri Artırma |
|---|---|---|
| Öğrenme Paradigması | Takviyeli Öğrenme | Denetimli Öğrenme |
| Birincil Hedef | Ödüllendirici durumları ve eylemleri keşfedin. | Veri kümesi çeşitliliğini ve boyutunu artırın. |
| Ele Alınan Temel Sorun | Az miktarda ödül ve bilinmeyen ortamlar | Sınırlı eğitim verileri ve aşırı uyum |
| Temel Teknikler | Epsilon-açgözlü, UCB, ICM, RND, Keşfet | Döndürme, Karıştırma, Kesme-Karıştırma, Otomatik Artırma, geri çeviri |
| Geri Besleme Sinyali | Çevreden gelen ödül sinyalleri | Veri kümesinden alınan gerçek etiketler |
| Hesaplama Maliyeti | Çevresel etkileşim nedeniyle genellikle yüksektir. | Genellikle orta düzeyde, çevrimdışı yapıldı. |
| Örnek Verimliliği Etkisi | Çevreyle gerekli etkileşimleri azaltır. | Etiketli veri gereksinimlerini azaltır. |
| Ortak Alanlar | Oyun oynama, robotik, navigasyon | Bilgisayar görüşü, doğal dil işleme (NLP), konuşma tanıma |
Keşif stratejileri, pekiştirmeli öğrenmede, bir ajanın daha iyi ödüller keşfetmek için yeni eylemler denemek ile bilinen ödüllendirici eylemlere bağlı kalmak arasında karar vermesi gereken keşif-sömürü ikilemini çözmek için vardır. Veri artırma ise farklı ancak ilgili bir amaca hizmet eder: Etiketlenmiş bir veri kümesinin etkin boyutunu yapay olarak genişleterek, denetimli modellerin daha önce görülmemiş örneklere daha iyi genelleme yapmasına yardımcı olur. Her iki teknik de nihayetinde öğrenme verimliliğini artırmayı amaçlar, ancak kendi öğrenme çerçevelerinde temelde farklı darboğazları ele alırlar.
RL keşif yöntemleri tipik olarak ajanın eylem seçme politikasını değiştirir veya yeni durumları ziyaret etmeyi teşvik etmek için içsel ödüller ekler. Merak odaklı öğrenme gibi teknikler, ajanı tahmin hataları için ödüllendirerek onu bilinmeyen bölgelere doğru iter. Veri artırma, mevcut örneklere dönüşümler uygulayarak, etiketleri korurken girdi özelliklerini değiştiren yeni eğitim örnekleri oluşturarak çalışır. Örneğin, döndürülmüş bir kedi görüntüsü hala kedi olarak etiketlenir, ancak model biraz farklı bir girdi deseni görür.
Keşif stratejileri, rastgele eylemlerin başarıya ulaşma olasılığının düşük olduğu, ödüllerin seyrek veya gecikmeli olduğu ortamlarda en değerlidir. Keşfi cezalandırmasıyla ünlü Montezuma's Revenge gibi oyunlar, bu alandaki yeniliklerin çoğunu yönlendirmiştir. Veri artırma, etiketli verilerin pahalı veya sınırlı olduğu durumlarda (tıbbi görüntüleme, uydu görüntüleri ve özel doğal dil işleme görevlerinde yaygın olduğu gibi) üstünlük sağlar. Ayrıca, aydınlatma, yönelim veya gürültüdeki gerçek dünya varyasyonlarına karşı dayanıklı modeller oluşturmak için de çok önemlidir.
Keşif stratejilerinin uygulanması, ajanın eylemlerde bulunabileceği ve sonuçları gözlemleyebileceği etkileşimli bir ortam gerektirir; bu da onları hesaplama açısından yoğun ve genellikle eğitim sürecini yavaşlatır. Veri artırma, tipik olarak ön işleme adımı olarak veya eğitim döngüleri içinde uygulanır; bu da onu nispeten ucuz ve mevcut süreçlere entegre etmeyi kolaylaştırır. Bir uygulayıcı, denetimli bir modele dakikalar içinde veri artırmaları ekleyebilirken, bir RL ajanı için keşif hiperparametrelerini ayarlamak günler veya haftalar sürebilir.
İlginç bir şekilde, bu iki yaklaşım bazı modern sistemlerde birleşiyor. Kendi kendine denetimli öğrenme, açık etiketler olmadan eğitim sinyalleri oluşturmak için veri artırma benzeri teknikler kullanarak her ikisinin de unsurlarını birleştiriyor. DrQ ve RAD gibi bazı yeni RL yöntemleri de, görsel pekiştirmeli öğrenmede örnek verimliliğini artırmak için görüntü artırmaları uygulayan veri artırma yöntemlerini kullanıyor. Bu karşılıklı etkileşim, paradigmalar arasındaki sınırların giderek daha akışkan hale geldiğini gösteriyor.
Keşif stratejileri, rastgele eylemlere zaman harcadıkları için her zaman takviyeli öğrenme eğitimini yavaşlatır.
Rastgele eylemler gibi basit keşif yöntemleri verimsiz olabilirken, merak odaklı yöntemler gibi gelişmiş stratejiler, ajanları bilgilendirici durumlara yönlendirerek öğrenmeyi hızlandırır. RND ve Go-Explore gibi yöntemler, daha önce RL ajanları için çözülemez olarak kabul edilen oyunları çözmüştür.
Veri artırma, yalnızca görüntüleri çevirmek ve döndürmekten ibarettir.
Modern veri artırma yöntemleri, öğrenilmiş politikaları (AutoAugment), üretken yaklaşımları (GAN tabanlı sentez) ve gelişmiş karıştırma tekniklerini (CutMix, Mixup) kapsar. Doğal dil işlemede (NLP), veri artırma yöntemleri arasında geri çeviri, bağlamsal kelime değiştirme ve hatta büyük dil modellerini kullanarak eş anlamlı ifadeler oluşturma yer alır.
Daha fazla veri artırma işlemi her zaman model performansının iyileşmesine yol açar.
Aşırı veya uygunsuz veri artırma, gerçekçi olmayan örnekler ekleyerek veya etiketle ilgili özellikleri yok ederek performansı olumsuz etkileyebilir. Önemli olan, anlamsal içeriği korurken yüzeysel özellikleri değiştiren veri artırma yöntemleri bulmaktır; bu da genellikle alan uzmanlığı veya öğrenilmiş politikalar gerektirir.
Keşif ve sömürü, dengelenmesi gereken zıt güçlerdir.
Modern keşif stratejileri, keşif ve sömürü arasında basit bir denge kurmakla kalmaz. Dağılımsal pekiştirmeli öğrenme ve merak odaklı yaklaşımlar gibi yöntemler, her iki amacı da birleşik çerçevelerde birleştirir; burada ajan çevresi hakkında daha fazla şey öğrendikçe keşif doğal olarak daha iyi sömürüye yol açar.
Veri artırma yalnızca görüntü verileri için faydalıdır.
Artırma teknikleri, ses (konuşma için specAugment), metin (geri çeviri, EDA), zaman serileri (titreşim, ölçeklendirme) ve hatta grafik verileri (düğüm düşürme, kenar bozulması) dahil olmak üzere çeşitli alanlarda değerli olduklarını kanıtlamıştır. Anlamlı varyasyonlar oluşturma ilkesi, makine öğrenimi alanlarında geniş ölçüde uygulanabilir.
Özellikle ödüllerin seyrek olduğu veya durum uzayının geniş olduğu durumlarda, bir ortamla etkileşim yoluyla öğrenmesi gereken ajanlar oluştururken takviyeli öğrenmede keşif stratejilerini seçin. Sabit bir veri kümeniz olduğunda ve daha fazla etiketli örnek toplamadan model performansını en üst düzeye çıkarmak istediğinizde, denetimli öğrenmede veri artırmayı tercih edin. Birçok modern yapay zeka sistemi, özellikle görsel algının sıralı karar verme ile buluştuğu robotik gibi alanlarda, her iki yaklaşımı birleştirmekten fayda sağlar.
Açık kaynaklı LLM'ler, tam kod erişimiyle özelleştirilebilir, kendi kendine barındırılan yapay zeka modelleri sunarken, tescilli LLM API'leri ise bulut tabanlı uç noktalar aracılığıyla kullanım tabanlı fiyatlandırmayla yönetilen, geliştirilmiş hizmetler sağlar.
Açık kaynaklı modeller, eğitilmiş parametrelerini herkese açık bir şekilde yayınlayarak herkesin bunları indirmesine, incelemesine ve ince ayar yapmasına olanak tanır. Kapalı kaynaklı modeller ise ağırlıklarını gizli tutarak yalnızca API'ler veya barındırılan ürünler aracılığıyla erişim sağlar. Bu iki model arasındaki seçim, geliştiricilerin yapay zeka sistemlerini nasıl oluşturduklarını, dağıttıklarını ve onlara nasıl güvendiklerini şekillendirir.
Bu karşılaştırma, açık kaynaklı yapay zeka ile tescilli yapay zeka arasındaki temel farkları ele alıyor; erişilebilirlik, özelleştirme, maliyet, destek, güvenlik, performans ve gerçek dünya kullanım senaryolarını kapsıyor. Bu sayede kuruluşlar ve geliştiriciler, hangi yaklaşımın hedeflerine ve teknik yetkinliklerine uygun olduğunu belirleyebilir.
Ağ tabanlı makine öğrenimi, gecikme süresi, bant genişliği ve topoloji gibi ağ koşullarını doğrudan model tasarımına ve çıkarım kararlarına dahil ederken, yalnızca hesaplama odaklı makine öğrenimi, GPU gücü ve bellek gibi hesaplama kaynaklarına odaklanır. İlki dağıtılmış ortamlar için optimizasyon yaparken, ikincisi bol miktarda yerel hesaplama gücü olduğunu varsayar.
Ajan işbirliği ve merkezi model akıl yürütme, karmaşık yapay zeka problemlerini çözmeye yönelik iki farklı yaklaşımı temsil eder. Çoklu ajan sistemleri bilişsel süreçleri uzmanlaşmış düğümler arasında dağıtırken, merkezi akıl yürütme karar verme sürecini tek bir güçlü model içinde yoğunlaştırır. Her paradigma, ölçeklenebilirlik, yorumlanabilirlik ve görev performansı açısından benzersiz avantajlar ve dezavantajlar sunar.
