Politika içi ve politika dışı öğrenme, ajanların deneyimi nasıl topladıkları ve kullandıkları konusunda farklılık gösteren, pekiştirmeli öğrenmede iki temel yaklaşımdır. Politika içi yöntemler, ajanın gerçekten gerçekleştirdiği eylemlerden öğrenirken, politika dışı yöntemler diğer politikalar veya geçmiş davranışlar tarafından toplanan verilerden öğrenebilir.
Ajanın, geliştirilmekte olan aynı politika altında halihazırda gerçekleştirdiği eylemlerden öğrendiği bir takviyeli öğrenme yaklaşımı.
Ajanın, optimize edilmekte olan politikadan farklı bir politika tarafından üretilen deneyimlerden öğrendiği bir takviyeli öğrenme yaklaşımı.
| Özellik | Politika İçi Öğrenme | Politika Dışı Öğrenme |
|---|---|---|
| Veri Kaynağı | Sadece mevcut politikadan | Herhangi bir politika veya geçmiş verisi |
| Örnek Verimliliği | Daha düşük, yeni verilere ihtiyaç var. | Daha yüksek, geçmiş deneyimleri yeniden kullanır. |
| Eğitim İstikrarı | Genellikle daha istikrarlı | Dağılım kayması nedeniyle daha az istikrarlı olabilir. |
| Keşif | Mevcut politikaya bağlı | Davranış politikasından bağımsız |
| Örnek Algoritmalar | SARSA, PPO, A2C, TAKVİYE | Q-Learning, DQN, DDPG, SAC, TD3 |
| Bellek Gereksinimleri | Daha düşük, tekrar oynatma arabelleğine gerek yok. | Daha yüksek, büyük tekrar oynatma arabellekleri gerektirir. |
| Yaygın Kullanım Senaryoları | Oyun yapay zekası, robotik simülasyonu, dil modelleri | Robotik, öneri sistemleri, otonom sürüş |
| Sapma-Varyans Değişimi | Daha düşük varyans, bir miktar sapma | Daha düşük sapma, daha yüksek varyans |
Temel ayrım, eğitim verilerini hangi politikanın ürettiğinde yatmaktadır. Politika tabanlı öğrenme, keşif sırasında izlenen politikayı değerlendirir ve iyileştirir; yani her güncelleme, ajanın gerçekte yapacağı eylemleri yansıtır. Politika dışı öğrenme ise bu hususları tamamen birbirinden ayırır ve ajanın, kendisinin eski bir sürümünden, rastgele bir politikadan veya hatta bir insan göstericisinden toplanmış olabilecek verilerden en uygun davranışı öğrenmesine olanak tanır.
Veri pahalı veya kıt olduğunda, politika dışı yöntemler öne çıkar. Geçişleri bir tekrar oynatma arabelleğinde depolayarak ve bundan tekrar tekrar örnekleme yaparak, DQN ve SAC gibi algoritmalar, ortamla her etkileşimden maksimum öğrenme değerini çıkarabilir. Politika içi yöntemler genellikle tek kullanımdan sonra verileri atar; bu, ucuz simülasyon ortamlarında iyi çalışır, ancak fiziksel robotik gibi her etkileşimin gerçek zaman veya para maliyeti olduğu durumlarda pratik olmaktan çıkar.
Politika tabanlı yaklaşımlar genellikle daha öngörülebilir yakınsama sunar çünkü optimize edilen politika her zaman veri üreten politikadır ve dağıtım uyumsuzluğunu ortadan kaldırır. Politika dışı yöntemler ise dağıtım kayması sorunuyla karşı karşıyadır; burada veri dağılımı mevcut politikanın üreteceğinden sapar ve bazen istikrarsızlığa veya sapmaya neden olur. Hedef ağlar, önem örneklemesi ve politika kısıtlamaları gibi teknikler bu sorunları hafifletmeye yardımcı olur ancak karmaşıklığı artırır.
Politika içi öğrenmede, keşif doğal olarak mevcut politikaya bağlıdır ve genellikle rastgele eylem seçimi veya entropi bonusları yoluyla gerçekleştirilir. Politika dışı öğrenme, keşfi öğrenmeden ayırarak, hedef politika sömürmeyi öğrenirken geniş kapsamlı keşif yapabilen ayrı davranış politikalarına olanak tanır. Bu ayrım, azalan zaman çizelgelerine sahip epsilon-açgözlü veya merak odaklı davranış politikaları gibi gelişmiş keşif stratejilerini mümkün kılar.
Simülasyonun ucuz olduğu ve istikrarın önemli olduğu alanlarda, örneğin oyun oynayan ajanların eğitilmesi ve RLHF ile büyük dil modellerinin ince ayarlanması gibi, politika tabanlı yöntemler baskın konumdadır. Politika dışı yöntemler ise gerçek dünya verisi toplamanın maliyetli olduğu robotikte ve kullanıcı etkileşimlerinin büyük kayıtlarının zengin eğitim verisi sağladığı öneri sistemlerinde üstünlük sağlar. Seçim genellikle bol miktarda simülasyon verisine mi yoksa değerli gerçek dünya verilerine mi sahip olduğunuza bağlıdır.
Politika dışı öğrenme her zaman daha iyidir çünkü verileri yeniden kullanır.
Politika dışı yöntemler örneklem açısından daha verimli olsa da, genellikle eğitim istikrarsızlığından muzdariptir ve hedef ağlar ve önem örneklemesi gibi tekniklerin dikkatli bir şekilde ayarlanmasını gerektirir. Politika içi yöntemler, simülasyonun ucuz olduğu ve istikrarın çok önemli olduğu ortamlarda politika dışı yaklaşımlardan daha iyi performans gösterebilir.
Politika tabanlı öğrenme, geçmiş verilerden yararlanamaz.
Politika tabanlı yöntemler teknik olarak geçmiş verileri kullanabilir, ancak bunu yapmak yüksek varyans oluşturan önem örnekleme düzeltmeleri gerektirir. Pratikte, mevcut politikadan elde edilen yeni verilerle en iyi sonucu verirler; bu nedenle PPO gibi algoritmalar uygulama örneklerini toplar, bunlar üzerinde eğitim yapar ve daha sonra bunları atar.
Q-öğrenme, en uygun eylem değerini öğrendiği için politika dışı bir algoritmadır.
Q-öğrenme, optimal politikayı öğrenirken keşif sırasında potansiyel olarak farklı bir davranış politikası izlediği için politika dışı bir algoritma olarak sınıflandırılır. Başlangıç noktası olarak kullandığı hedef, açgözlü eylem seçimini varsayar; bu da veri üretmek için gerçekte yapılan eylemlerden farklı olabilir.
Tüm derin pekiştirmeli öğrenme algoritmaları, politika dışı (off-policy) algoritmalardır.
Birçok popüler derin pekiştirmeli öğrenme algoritması, PPO, A2C ve TRPO dahil olmak üzere, politika tabanlıdır. Politika tabanlı ve politika dışı arasındaki ayrım, sinir ağlarının kullanılıp kullanılmamasından bağımsızdır ve her iki kategori de başarılı derin öğrenme uygulamalarına sahiptir.
Politika dışı öğrenme, politika içi öğrenmeye göre her zaman daha hızlı yakınsar.
Yakınsama hızı, ortama ve uygulamaya bağlıdır. Politika dışı yöntemler daha az ortam etkileşimi gerektirebilir, ancak genellikle daha fazla gradyan güncellemesi ve dikkatli hiperparametre ayarlaması gerektirir. Bazı görevlerde, politika içi yöntemler daha fazla örnek kullanılmasına rağmen, gerçek zaman diliminde daha hızlı bir şekilde iyi politikalara ulaşır.
Eğitim istikrarına ihtiyaç duyduğunuzda ve özellikle oyun yapay zekası veya dil modellerindeki politika gradyan yöntemleri gibi görevler için ucuz simülasyon ortamlarına erişiminiz olduğunda, politika tabanlı öğrenmeyi tercih edin. Örneklem verimliliğinin kritik olduğu, veri toplamanın pahalı olduğu veya gösterimler veya kaydedilmiş etkileşimler gibi mevcut veri kümelerinden öğrenmeniz gerektiğinde, politika dışı öğrenmeyi tercih edin.
Açık kaynaklı LLM'ler, tam kod erişimiyle özelleştirilebilir, kendi kendine barındırılan yapay zeka modelleri sunarken, tescilli LLM API'leri ise bulut tabanlı uç noktalar aracılığıyla kullanım tabanlı fiyatlandırmayla yönetilen, geliştirilmiş hizmetler sağlar.
Açık kaynaklı modeller, eğitilmiş parametrelerini herkese açık bir şekilde yayınlayarak herkesin bunları indirmesine, incelemesine ve ince ayar yapmasına olanak tanır. Kapalı kaynaklı modeller ise ağırlıklarını gizli tutarak yalnızca API'ler veya barındırılan ürünler aracılığıyla erişim sağlar. Bu iki model arasındaki seçim, geliştiricilerin yapay zeka sistemlerini nasıl oluşturduklarını, dağıttıklarını ve onlara nasıl güvendiklerini şekillendirir.
Bu karşılaştırma, açık kaynaklı yapay zeka ile tescilli yapay zeka arasındaki temel farkları ele alıyor; erişilebilirlik, özelleştirme, maliyet, destek, güvenlik, performans ve gerçek dünya kullanım senaryolarını kapsıyor. Bu sayede kuruluşlar ve geliştiriciler, hangi yaklaşımın hedeflerine ve teknik yetkinliklerine uygun olduğunu belirleyebilir.
Ağ tabanlı makine öğrenimi, gecikme süresi, bant genişliği ve topoloji gibi ağ koşullarını doğrudan model tasarımına ve çıkarım kararlarına dahil ederken, yalnızca hesaplama odaklı makine öğrenimi, GPU gücü ve bellek gibi hesaplama kaynaklarına odaklanır. İlki dağıtılmış ortamlar için optimizasyon yaparken, ikincisi bol miktarda yerel hesaplama gücü olduğunu varsayar.
Ajan işbirliği ve merkezi model akıl yürütme, karmaşık yapay zeka problemlerini çözmeye yönelik iki farklı yaklaşımı temsil eder. Çoklu ajan sistemleri bilişsel süreçleri uzmanlaşmış düğümler arasında dağıtırken, merkezi akıl yürütme karar verme sürecini tek bir güçlü model içinde yoğunlaştırır. Her paradigma, ölçeklenebilirlik, yorumlanabilirlik ve görev performansı açısından benzersiz avantajlar ve dezavantajlar sunar.
