Učni signali so označeni primeri in mehanizmi povratnih informacij, ki učijo modele strojnega učenja med razvojem, medtem ko se podatki izven distribucije nanašajo na vhodne podatke, ki ne spadajo v vzorce, s katerimi se je model srečal med učenjem. Razumevanje obeh konceptov je bistvenega pomena za gradnjo sistemov umetne inteligence, ki se učinkovito učijo in zanesljivo posplošujejo na scenarije iz resničnega sveta.
Označeni podatki in mehanizmi povratnih informacij, ki se uporabljajo za učenje modelov, kako med procesom učenja natančno napovedovati.
Vhodni vzorci, ki se statistično razlikujejo od podatkov, na katerih je bil model usposobljen, kar pogosto povzroča nezanesljive ali nepredvidljive napovedi.
| Funkcija | Signali za strojno učenje | Podatki o izstopu iz distribucije |
|---|---|---|
| Vloga v cevovodu strojnega učenja | Temelji modelnega učenja | Izziv med uvajanjem |
| Ko je pomembno | Med fazo usposabljanja | Med sklepanjem in uvajanjem |
| Primarni namen | Naučite modele pravilnega vedenja | Prepoznajte omejitve in napake modela |
| Vir | Urejeni nabori podatkov in povratne zanke | Vhodni podatki iz resničnega sveta zunaj obsega usposabljanja |
| Vpliv na uspešnost | Določa kakovost učenja | Robustnost testov in posplošitev |
| Pogoste tehnike | Označevanje, dopolnjevanje, oblikovanje nagrajevanja | Zaznavanje anomalij, ocena negotovosti |
| Razmerje drug do drugega | Določa, kaj model ve | Razkrije, česar model ne ve |
| Raziskovalni fokus | Kakovost podatkov in zasnova učnega načrta | Robustnost in varnostna jamstva |
Učni signali obstajajo zato, da model naučijo, kako izgleda pravilno vedenje. Pojavljajo se v različnih oblikah, od označenih slik pri nadzorovanem učenju do nagradnih točk pri učenju z okrepitvijo, in neposredno oblikujejo uteži, ki jih razvije nevronska mreža. Podatki izven distribucije služijo nasprotnemu namenu med uvajanjem: razkrivajo meje tega, kar se je model naučil. Ko sistem naleti na vhode izven distribucije, razkrije vrzeli v svojem učenju in preizkusi, ali lahko model prepozna lastne omejitve.
Signali za učenje so aktivni med razvojno fazo, kjer vsaka serija podatkov prispeva k posodabljanju parametrov modela. Ko se učenje zaključi, ti signali ne vplivajo več neposredno na model. Podatki izven distribucije postanejo pomembni v času sklepanja, ko se nameščeni modeli soočajo z nepredvidljivimi vhodnimi podatki iz resničnega sveta. Prehod med tema fazama je tista, kjer mnogi sistemi umetne inteligence odpovejo, saj modeli, optimizirani za porazdelitve učenja, pogosto doživijo težave, ko se pogoji spremenijo.
Visokokakovostni učni signali zahtevajo skrbno kuriranje, natančno označevanje in uravnoteženo predstavitev med kategorijami. Slaba kakovost signala vodi do modelov, ki si zapomnijo šum, namesto da bi se naučili uporabnih vzorcev. Pri scenarijih izven porazdelitve je izziv drugačen: tudi odlični učni podatki ne morejo pokriti vseh možnih vhodnih podatkov, s katerimi se model lahko sreča. Zato raziskovalci poudarjajo tako širše učne porazdelitve kot eksplicitne mehanizme zaznavanja izven porazdelitvenih elementov (OOD), namesto da bi se zanašali samo na učne podatke.
Moč učnih signalov določa osnovno kompetenco modela, medtem ko izpostavljenost spremembam porazdelitve preizkuša, ali ta kompetenca vzdrži. Model, usposobljen na raznolikih, dobro označenih podatkih, se običajno bolje posplošuje na scenarije izven dosega nepričakovanih objektov (OOD), čeprav nobena količina usposabljanja ne zagotavlja popolne robustnosti. Sodobni pristopi združujejo bogate učne signale z ločenimi sistemi za zaznavanje OOD, kar ustvarja večplastno obrambo pred nepričakovanimi vhodi.
Inženirji, ki gradijo produkcijske sisteme umetne inteligence, morajo hkrati obravnavati oba koncepta. Močni signali za usposabljanje zmanjšujejo pogostost napak pri izdelavi izdelkov na prostem (OOD), vendar okolja za uvajanje vedno vsebujejo presenečenja, ki jih usposabljanje ne more predvideti. Ta dvojna osredotočenost je spodbudila naložbe v tehnike, kot so dopolnjevanje podatkov, generiranje sintetičnih podatkov in kvantifikacija negotovosti. Ekipe, ki ignorirajo katero koli stran, tvegajo, da bodo zgradile sisteme, ki se dobro obnesejo pri testiranju, vendar nepredvidljivo odpovedo v produkciji.
Več podatkov za usposabljanje v celoti odpravi težave z nedistribucijo.
Tudi modeli, usposobljeni na milijardah primerov, naletijo na vhodne podatke, ki jih še nikoli niso videli. Premik porazdelitve je neločljivo povezan z uvajanjem v resničnem svetu in noben nabor podatkov ne more zajeti vseh možnih scenarijev. Zaznavanje izven dosega uporabnikov (OOD) ostaja potrebno ne glede na obseg učenja.
Učni signali in podatki o ogledu na daljavo (OOD) so v strojnem učenju nepovezana koncepta.
Ta koncepta sta tesno povezana, ker meje učnih signalov določajo, kaj šteje kot izven distribucije. Model, usposobljen na medicinskih slikah iz ene bolnišnice, lahko slike iz druge bolnišnice obravnava kot izven distribucije, čeprav sta oba tehnično gledano medicinska podatka.
Model, ki dosega visoko natančnost pri testnih podatkih, bo dobro obravnaval vhodne podatke iz objektov na prostem (OOD).
Testni nizi običajno prihajajo iz iste distribucije kot učni podatki, zato visoka natančnost testov ne zagotavlja robustnosti na spremembe distribucije. Modeli so lahko zanesljivo napačni pri vhodnih podatkih OOD, hkrati pa ohranjajo odlično delovanje znotraj distribucije.
Zaznavanje izven distribucije je pomembno le za varnostno kritične aplikacije.
Zaznavanje OOD je pomembno za praktično vsak nameščen sistem strojnega učenja, od priporočilnih mehanizmov do klepetalnih robotov. Nepričakovani vnosi lahko poslabšajo uporabniško izkušnjo, povzročijo pristranske izhode ali sprožijo kaskadne napake v podrejenih sistemih, ne glede na domeno aplikacije.
Samonadzorovano učenje odpravlja potrebo po tradicionalnih učnih signalih.
Samonadzorovane metode se še vedno zanašajo na učne signale, le da se ti generirajo samodejno iz podatkovne strukture in ne na človeške oznake. Nadzorni signal lahko napoveduje maskirane besede ali naslednje video sličice, vendar še vedno vodi učenje skozi posodobitve gradientov.
Učni signali in podatki o izven distribucije predstavljajo dve plati iste medalje v strojnem učenju: ena opredeljuje, kaj se model nauči, druga pa razkriva meje tega učenja. Pri gradnji katerega koli sistema strojnega učenja dajte prednost visokokakovostnim in raznolikim učnim signalom, vendar to naložbo pred uvedbo združite z zaznavanjem izven distribucije in testiranjem robustnosti. Najbolj zanesljivi sistemi umetne inteligence oba obravnavajo kot bistvena, namesto da bi izbrali enega pred drugim.
A/B testiranje pri izdajah vsebin vključuje uvajanje različic za različne segmente občinstva in merjenje uspešnosti, medtem ko enkratne izdaje vsebin hkrati vsem ponudijo eno različico. Vsak pristop ustreza različnim ciljem, pri čemer A/B testiranje daje prednost optimizaciji, ki temelji na podatkih, enkratne izdaje pa dajejo prednost hitrosti in preprostosti.
A/B testiranje pri streženju modelov usmerja promet med konkurenčnimi različicami modelov za merjenje učinkovitosti v resničnem svetu, medtem ko uvedba enega modela vsem uporabnikom dostavi en model. Ekipe izbirajo med njimi glede na toleranco tveganja, količino prometa in potrebo po statistični potrditvi pred popolno uvedbo.
Agenti umetne inteligence so avtonomni, ciljno usmerjeni sistemi, ki lahko načrtujejo, sklepajo in izvajajo naloge v različnih orodjih, medtem ko tradicionalne spletne aplikacije sledijo fiksnim delovnim procesom, ki jih vodijo uporabniki. Primerjava poudarja premik od statičnih vmesnikov k prilagodljivim, kontekstualno ozaveščenim sistemom, ki lahko proaktivno pomagajo uporabnikom, avtomatizirajo odločitve in dinamično komunicirajo med več storitvami.
Ta arhitekturna primerjava primerja deterministično inženirstvo agentov, ki temeljijo na pravilih, s prilagodljivo naravo učnih agentov, ki temeljijo na podatkih, ter ocenjuje njihovo uporabnost v resničnem svetu, omejitve skaliranja in delovanje v negotovosti.
Agentni sistemi umetne inteligence lahko načrtujejo, izvajajo večstopenjske naloge in avtonomno komunicirajo z zunanjimi orodji, medtem ko tradicionalni klepetalni roboti LLM primarno ustvarjajo besedilne odgovore v enem samem pogovornem koraku. Ključna razlika je v agenciji: agentni sistemi delujejo na podlagi ciljev, medtem ko klepetalni roboti reagirajo na pozive.
