A preferenciamodellezés a relatív rangsorokat és az alternatívák közötti választási lehetőségeket tanulja meg, míg a közvetlen predikciós modellezés a bemeneti jellemzőkből becsüli meg az abszolút eredményeket. Ez a két MI-paradigma alapvetően különbözik abban, hogyan ábrázolják a döntéshozatalt: a preferenciamodellek az emberi ítélőképesség megragadásában, míg a közvetlen predikciós modellek a pontbecslésekre optimalizálnak.
A lehetőségek közötti relatív rangsorolást és páronkénti preferenciákat tanulja meg abszolút értékek helyett.
Felügyelt tanulás segítségével közvetlenül a bemeneti jellemzőkből megjósolja az abszolút célértékeket vagy osztályozásokat.
| Funkció | Preferenciamodellezés | Közvetlen predikciós modellezés |
|---|---|---|
| Fő célkitűzés | Ismerje meg az elemek közötti relatív rangsorolást | Abszolút kimeneti értékek előrejelzése |
| Betanítási adatformátum | Páros összehasonlítások, rangsorolások vagy választási adatok | Címkézett bemenet-kimenet párok alapigazsággal |
| Veszteségfüggvény | Páronkénti veszteség, csuklópontveszteség vagy rangsorolási veszteség (pl. BPR, RankNet) | MSE, MAE, kereszt-entrópia vagy Huber-veszteség |
| Kimeneti értelmezés | Pontszám vagy valószínűség, hogy az A elem előnyben részesült a B-vel szemben | Pontbecslés vagy valószínűségeloszlás osztályok között |
| Tipikus alkalmazások | Ajánlás, keresési rangsorolás, RLHF, conjoint elemzés | Előrejelzés, diagnózis, képfelismerés, regressziós feladatok |
| Kalibrációs követelmények | Gyakran kalibrációra van szükség az abszolút valószínűségekhez való leképezéshez | Természetesen kalibrált valószínűségeket állít elő megfelelő pontozással |
| Adathatékonyság | Gyakran hatékonyabb a szubjektív ítéleteknél; az emberek könnyebben találnak összehasonlításokat, mint abszolút értékeléseket | Explicit címkéket igényel; ritka események esetén adatigényes lehet |
A preferenciamodellezés alapvetően azt kérdezi, hogy „melyik a jobb?”, ahelyett, hogy azt kérdezné, hogy „mi az értéke”. Ez a változás mindent megváltoztat a modellek információfeldolgozásának módjában. A közvetlen predikció az alapvető igazságcímkéket üldözi, míg a preferenciamodellezés a relatív ítéletek következetességét követi. A gyakorlatban ez azt jelenti, hogy egy preferenciamodell soha nem ismerheti egy film abszolút minőségét, de megbízhatóan tudja, hogy a felhasználók a Keresztapa című filmet részesítik előnyben a Giglivel szemben.
Az emberek nehezen tudnak következetesen abszolút pontszámokat adni. Kérj meg valakit, hogy értékeljen egy éttermet 1-5 csillaggal, és zajos választ kapsz. Kérd meg őket, hogy válasszanak két étterem közül, és a jel drámaian élesebbé válik. A preferenciamodellezés ezt a kognitív sajátosságot használja ki. A közvetlen predikció drágább, gyakran zajosabb abszolút címkéket igényel, bár a legújabb kutatások azt mutatják, hogy a szintetikus preferenciaadatok csökkenthetik ezt a különbséget.
A közvetlen predikciós modellek jellemzően szabványos architektúrákon keresztül továbbítják a jellemzőket egyetlen kimeneti fej felé. A preferenciamodellek gyakran kettős kódolókat vagy sziámi architektúrákat használnak, amelyek közösen dolgozzák fel a párokat, bár a modern implementációk egyre inkább egyetlen modellt használnak speciális promptokkal. A Bradley-Terry modell és neurális változatai implicit hasznossági függvényeket hoznak létre, amelyek rangsorokat generálnak, ami egy strukturális különbség, amelynek nincs közvetlen predikciós analógja.
közvetlen predikció a pontosság, az RMSE vagy az F1 függvényében él és hal – eltaláltuk a célt? A preferenciamodellezés Kendall tau-módszerében, az NDCG-ben és a páronkénti pontosságban nyilvánul meg. Ezek a mérőszámok a különböző hibamódokat rögzítik. Egy kiváló RMSE-vel rendelkező közvetlen predikciós modell továbbra is rosszul rangsorolhatja az alternatívákat, míg egy tökéletes rangsorolású preferenciamodell semmit sem árul el az abszolút nagyságrendekről.
A nyelvi modellek RLHF-forradalmával a preferenciamodellezés került a középpontba. A közvetlen predikció nem könnyen célozhatja meg a „hasznosat és az ártalmatlant” – nincs alapvető igazságcímke. Ezzel szemben a preferenciamodellezés emberi ítéleteket vált ki arról, hogy melyik válasz a jobb, lehetővé téve az értékek összehangolását explicit értékmeghatározás nélkül. Ez a megkülönböztetés alakítja a jelenlegi mesterséges intelligencia biztonsági kutatási pályáit.
A preferenciamodellezés és a közvetlen predikció a legtöbb feladat esetében felcserélhető.
A strukturális különbségek jelentősen számítanak. Egy páros adatokon betanított preferenciamodell nem tud közvetlenül abszolút értékeket kiadni további kalibrációs lépések nélkül. Ezzel szemben a közvetlen predikció rangsorolási feladatokba való kényszerítése gyakran alulteljesíti a preferencia adatokon natívan betanított modelleket.
preferenciamodellezés csak ajánlórendszerek esetén hasznos.
Míg az ajánlórendszerek népszerűsítették ezeket a módszereket, a preferenciamodellezés ma már a nyelvi modellekben, az orvosi kezelések rangsorolásában és még a robotikában is az RLHF-et vezérli. A paradigma messze túlmutat a termékajánlásokon, minden olyan területre kiterjed, ahol a relatív ítéletek fontos struktúrákat ragadnak meg.
A közvetlen előrejelzés egyáltalán nem képes rangsorolást eredményezni.
Bármely közvetlen predikciós modell képes rangsorolást generálni az elemek egyedi pontozásával és rendezésével. Ez a közvetett megközelítés azonban gyakran gyengébben teljesít, mint a közvetlenül preferenciaadatokon tanított modellek, különösen akkor, ha az abszolút értékek zajosak, vagy ha a rangsorolási feladat finom különbségeket tartalmaz.
A preferenciamodellezés több adatot igényel, mint a közvetlen predikció.
Gyakran az ellenkezője igaz. Az emberek az összehasonlító ítéleteket könnyebbnek és következetesebbnek találják, mint az abszolút értékeléseket, ami azt jelenti, hogy a preferenciaadatok gyorsabban gyűjthetők, kevesebb zajjal ítéletenként. A teljes annotációs teher gyakran a preferencia-megközelítéseket részesíti előnyben a szubjektív feladatok esetében.
Az RLHF tiszta preferenciamodellezést használ közvetlen predikciós komponens nélkül.
A modern RLHF folyamatok valójában mindkét paradigmát ötvözik. Egy preferencia modell (jutalmazási modell) biztosítja a rangsorolási jelet, de az alapul szolgáló nyelvi modellt jellemzően közvetlen predikcióval (következő token predikció) előképezik. A végső rendszer egy hibrid, nem pedig tiszta preferencia architektúra.
preferenciamodellezést akkor válasszuk, ha a relatív ítéletek természetesek, az abszolút címkék drágák vagy lehetetlenek, illetve ha a rendszereket emberi értékekkel hangoljuk össze. A közvetlen előrejelzés továbbra is előnyösebb, ha a pontos mennyiségi becslések számítanak, ha létezik alapvető igazság, vagy ha a további döntésekhez kalibrált valószínűségek szükségesek. Számos termelési rendszer ma már hibridizálja a két megközelítést.
késleltetésre fókuszált kiszolgálás és a tiszta pontosságoptimalizálás két egymással versengő filozófiát képvisel a mesterséges intelligencia telepítésében. A késleltetésre összpontosító kiszolgálás a sebességet és a felhasználói élményt helyezi előtérbe, míg a tiszta pontosságoptimalizálás a lehető legmagasabb modellteljesítményt célozza meg, függetlenül a következtetési időtől. A kettő közötti választás meghatározza, hogyan viselkednek a mesterséges intelligencia rendszerek éles környezetben.
Az A/B tesztelés a modellkiszolgáló rendszerben a versengő modellverziók közötti forgalmat irányítja át a valós teljesítmény mérése érdekében, míg az egyetlen modell telepítése egyetlen modellt küld minden felhasználónak. A csapatok a kockázattűrés, a forgalom mennyisége és a teljes bevezetés előtti statisztikai validáció szükségessége alapján választanak közöttük.
Az A/B tesztelés a tartalomkiadásokban magában foglalja a variációk különböző közönségszegmensek számára történő bevezetését és a teljesítmény mérését, míg az egyszeri tartalomkiadások egyetlen verziót juttatnak el egyszerre mindenkihez. Minden megközelítés más célokat szolgál, az A/B tesztelés az adatvezérelt optimalizálást, míg az egyszeri kiadások a sebességet és az egyszerűséget helyezik előtérbe.
Ez a részletes összehasonlítás az adaptív intelligenciamotorok architektúrális különbségeit, működési korlátait és valós teljesítményét vizsgálja a fix viselkedésű automatizálási rendszerekkel szemben. Megvizsgáljuk, hogy az új környezeti adatokból folyamatosan tanuló rendszerek hogyan viszonyulnak a merev, kiszámítható, szabályokon alapuló keretrendszerekhez.
Az adaptív lekérések dinamikusan igazítják a rendszer által lekérdezett információk módját és típusát, míg a statikus lekérési folyamatok rögzített szabályokat követnek, a kontextustól függetlenül. Mindkettő modern mesterséges intelligencia alkalmazásokat működtet, de rugalmasságukban, költségükben és pontosságukban élesen különböznek. A választás a köztük lévő feladatok összetettségétől és a költségvetéstől függ.
