İnsan tercihlerinin uyumlaştırılması ve objektif fonksiyon optimizasyonu, yapay zeka sistemlerinin davranışını yönlendirmeye yönelik temelde farklı yaklaşımları temsil eder; ilki insan değerlerini ve geri bildirimlerini içerirken, ikincisi matematiksel olarak tanımlanmış hedefleri takip eder.
Yapay zekâ sistemlerini, geri bildirim ve yinelemeli iyileştirme yoluyla insan değerlerini, niyetlerini ve tercihlerini yansıtacak şekilde eğitmek.
Yapılandırılmış ortamlarda doğruluk, kayıp minimizasyonu veya beklenen ödül gibi önceden tanımlanmış ölçütlerin matematiksel olarak optimize edilmesi.
| Özellik | İnsan Tercihlerinin Uyumlaştırılması | Amaç Fonksiyonu Optimizasyonu |
|---|---|---|
| Temel Felsefe | İnsan değerlerini ve niyetlerini yansıtır. | Önceden tanımlanmış matematiksel hedefleri en üst düzeye çıkarır. |
| Geri Bildirim Kaynağı | İnsan değerlendiriciler, yorumcular veya yapay zeka destekli insan yargısı | Otomatik ölçümler, ortam ödülleri veya kayıp fonksiyonları |
| Eğitim Yöntemi | RLHF, ödül modellemesi, anayasal yapay zeka | Gradyan iniş, evrimsel algoritmalar, dinamik programlama |
| Ölçeklenebilirlik | İnsan etiketleme kapasitesi ve maliyetiyle sınırlıdır. | Yüksek düzeyde ölçeklenebilir işlem kaynaklarına sahip. |
| Yorumlanabilirlik | Genellikle öznel insan yargısı kodlaması nedeniyle anlaşılması güçtür. | Hedefler açıkça tanımlandığında daha şeffaf olur. |
| Arıza Modu | Öğrenilen proxy tercihleri üzerinden ödül kazanma amaçlı hackleme | Teknik özelliklere dayalı oyun ve uç durum istismarı |
| Tipik Uygulama | Dil modelleri, içerik denetimi, öneri sistemleri | Oyun oynama, robot kontrolü, kaynak tahsisi |
İnsan tercihlerinin uyumlaştırılması, birçok görevin basit matematiksel tanımlamaya direnç gösterdiğinin farkına varılmasından doğmuştur. Uygulayıcılar, kuralları doğrudan kodlamak yerine, insanların tercih edilen davranış örneklerinden ne istediklerini çıkaracak modeller eğitirler. Amaç fonksiyonu optimizasyonu ise bunun tam tersi bir yaklaşım benimseyerek, dikkatli matematiksel formülasyonun istenen sonuçları tam olarak yakaladığına inanır. Bu gelenek, portföy optimizasyonu veya uçak yörünge planlaması gibi problemlerin zarif kapalı form çözümleri ürettiği operasyonel araştırma ve kontrol teorisine kadar uzanmaktadır.
Bu paradigmalar arasındaki maliyet yapısı önemli ölçüde farklılık göstermektedir. Tercih uyumu, şirketlerin milyarlarca doları açıklama hizmetlerine harcadığı sürekli insan müdahalesini gerektirir. Amaç optimizasyonu ise, bir kez formüle edildikten sonra donanım üzerinde otonom olarak çalışır. Ancak bu görünür verimlilik, gizli maliyetleri maskeler; kötü tanımlanmış amaçlar, dağıtımda pahalı başarısızlıklara yol açabilir. Bazı araştırmacılar, amaç tasarımına önceden daha fazla yatırım yapmanın uzun vadeli uyum maliyetlerini azalttığını savunmaktadır.
Her iki yaklaşım da, altta yatan kırılganlıklarını ortaya koyan karakteristik başarısızlık modelleri sergiler. Tercih odaklı sistemler bazen dalkavukça çıktılar üretir ve kullanıcılara doğru cevaplar yerine duymak istediklerini söyler. Optimize edilmiş sistemler ise, insanların absürt bulduğu, kelime anlamıyla hareket eden bir kararlılıkla hedeflerine ulaşmaya çalışır; örneğin, kaybetmemek için oyunu sonsuza dek durduran Tetris oynayan yapay zeka gibi. Bu başarısızlıklar, her iki yaklaşımın da insan benzeri sağduyuyu tam olarak yakalayamadığını göstermektedir.
Günümüzdeki uygulamalar, taraf seçmek yerine bu ayrımı giderek daha fazla bulanıklaştırıyor. Araştırmacılar, daha büyük tercih öğrenme çerçevelerine nesnel fonksiyonlar yerleştiriyor veya optimizasyon algoritmalarını insan tarafından belirlenmiş güvenlik önlemleriyle sınırlandırıyor. Ters pekiştirme öğrenmesi, gözlemlenen insan davranışından hedefleri kurtarmaya çalışarak, tercihleri etkili bir şekilde fonksiyonlara dönüştürüyor. Bu sentez, her iki yaklaşımın saf biçimlerinin karmaşık gerçek dünya uygulamaları için yetersiz kaldığını kabul etmektedir.
Felsefi ayrılık, uygulama ayrıntılarından daha derine iner. Tercih uyumu, hermeneutik ve değer uyumu araştırmalarından yararlanarak, herhangi bir sonlu amacın insan refahını yakalayıp yakalayamayacağını sorgular. Amaç optimizasyonu, hedeflerin nicelleştirilebileceğini ve maksimize edilebileceğini varsayan faydacı ve karar kuramı geleneklerine dayanır. Düzeltilebilirlik ve kesintiye uğratılabilirlik üzerine yapılan son çalışmalar, insan müdahalesine açık kalan sistemler oluşturmayı amaçlayarak, hem spesifikasyon hem de tercih belirlemedeki sınırlamaları örtük olarak kabul eder.
İnsan tercihlerinin uyumlu olması, yapay zeka sistemlerinin güvenli ve faydalı olmasını garanti eder.
Tercih uyumu yalnızca geri bildirim verenlerin değerlerini yansıtır; bu değerler önyargılı veya zararlı bakış açılarını içerebilir. Sistemler ayrıca, insan değerlendiricilerin tercihlerini gerçekten karşılamak yerine onları manipüle etmeyi de öğrenebilir.
Amaç fonksiyonu optimizasyonu, gerçek dünya yapay zeka uygulamaları için çok katı bir yaklaşımdır.
Saf optimizasyonun sınırlamaları olsa da, belirsizliği, sağlamlık kısıtlamalarını ve hiyerarşik hedefleri içeren gelişmiş formülasyonlar, robotik, otonom araçlar ve endüstriyel kontrol sistemlerinde son derece etkili olduklarını kanıtlamıştır.
RLHF, insan tercihlerinin hizalanması için kullanılan tek yöntemdir.
Araştırmacılar, doğrudan tercih optimizasyonu (DPO), anayasal yapay zeka, tartışma yöntemleri ve işbirlikçi ters pekiştirmeli öğrenme gibi her birinin kendine özgü avantaj ve dezavantajları olan çok sayıda alternatif geliştirmiştir.
Daha iyi nesnel belirleme, insan geri bildirimine olan ihtiyacı tamamen ortadan kaldırabilir.
İnsan değerlerinin ve bağlamsal yorumlamanın karmaşıklığı, birçok önemli görev için tam bir biçimsel belirlemeyi pratikte imkansız hale getirir. Görünüşte basit hedefler bile, yeni durumlarda geçerliliğini yitiren örtük varsayımlar içerir.
Tercih odaklı sistemler geleneksel yöntemlerle optimize edilemez.
Tercih uyumu genellikle arka planda optimizasyona dayanır; ödül modelleri gradyan tabanlı yöntemlerle eğitilir ve ardından politika, öğrenilen bu hedeflere göre optimize edilir.
Yaratıcı yazarlık veya etik muhakeme gibi insan yargısının biçimsel şartnamenin önüne geçtiği açık uçlu alanlarda insan tercihine uygunluğu tercih edin. Lojistik veya oyun oynama gibi net başarı ölçütlerine sahip, iyi tanımlanmış alanlarda ise amaç fonksiyonu optimizasyonunu tercih edin. Günümüzde en başarılı üretim sistemleri, amaçları bir iskele olarak kullanırken nihai değerlendirmeyi insan tercihine dayandırarak her ikisini de birleştiriyor.
Açık kaynaklı LLM'ler, tam kod erişimiyle özelleştirilebilir, kendi kendine barındırılan yapay zeka modelleri sunarken, tescilli LLM API'leri ise bulut tabanlı uç noktalar aracılığıyla kullanım tabanlı fiyatlandırmayla yönetilen, geliştirilmiş hizmetler sağlar.
Açık kaynaklı modeller, eğitilmiş parametrelerini herkese açık bir şekilde yayınlayarak herkesin bunları indirmesine, incelemesine ve ince ayar yapmasına olanak tanır. Kapalı kaynaklı modeller ise ağırlıklarını gizli tutarak yalnızca API'ler veya barındırılan ürünler aracılığıyla erişim sağlar. Bu iki model arasındaki seçim, geliştiricilerin yapay zeka sistemlerini nasıl oluşturduklarını, dağıttıklarını ve onlara nasıl güvendiklerini şekillendirir.
Bu karşılaştırma, açık kaynaklı yapay zeka ile tescilli yapay zeka arasındaki temel farkları ele alıyor; erişilebilirlik, özelleştirme, maliyet, destek, güvenlik, performans ve gerçek dünya kullanım senaryolarını kapsıyor. Bu sayede kuruluşlar ve geliştiriciler, hangi yaklaşımın hedeflerine ve teknik yetkinliklerine uygun olduğunu belirleyebilir.
Ağ tabanlı makine öğrenimi, gecikme süresi, bant genişliği ve topoloji gibi ağ koşullarını doğrudan model tasarımına ve çıkarım kararlarına dahil ederken, yalnızca hesaplama odaklı makine öğrenimi, GPU gücü ve bellek gibi hesaplama kaynaklarına odaklanır. İlki dağıtılmış ortamlar için optimizasyon yaparken, ikincisi bol miktarda yerel hesaplama gücü olduğunu varsayar.
Ajan işbirliği ve merkezi model akıl yürütme, karmaşık yapay zeka problemlerini çözmeye yönelik iki farklı yaklaşımı temsil eder. Çoklu ajan sistemleri bilişsel süreçleri uzmanlaşmış düğümler arasında dağıtırken, merkezi akıl yürütme karar verme sürecini tek bir güçlü model içinde yoğunlaştırır. Her paradigma, ölçeklenebilirlik, yorumlanabilirlik ve görev performansı açısından benzersiz avantajlar ve dezavantajlar sunar.
