Lühiajalise mälu nihked võimaldavad keelemudelitel vestluse ajal oma sisemisi esitusi lennult kohandada, samas kui staatilised vektormanused lukustavad tähenduse treeningu ajal fikseeritud arvväärtustesse. Mõlemad kujundavad seda, kuidas tehisintellekt keelt mõistab, kuid toimivad väga erinevatel etappidel ja skaaladel.
Mudeli sisemiste esituste dünaamilised kohandused, mis toimuvad järeldamise ajal, võimaldades kontekstipõhist käitumist ühe seansi jooksul.
Sõnade, fraaside või mõistete fikseeritud numbrilised esitused, mis arvutatakse üks kord ja jäävad kontekstist olenemata muutumatuks.
| Funktsioon | Lühiajalise mälu nihked | Staatilised vektori manustamised |
|---|---|---|
| Esindustüüp | Kontekstist sõltuv, dünaamiline | Kontekstist sõltumatu, fikseeritud |
| Millal uuendused toimuvad | Järeldamise ajal, sümbol sümboli haaval | Ainult modellikoolituse ajal |
| Mälu kestus | Kestab ühe seansi või viite jaoks | Püsiv kuni ümberõppeni |
| Arvutuslik maksumus | Kõrge, nõuab täielikku ettepoole söötu | Madal, lihtsalt otsingutabel |
| Käepidemed polüseemia | Jah, sama sõna saab erinevaid vektoreid | Ei, üks vektor sõna kohta |
| Säilitamisnõuded | Mudeli kaaludes kaudne | Tavaliselt 1–10 GB suurte sõnavarade puhul |
| Tüüpilised kasutusjuhud | Vestluspõhine tehisintellekt, kontekstipõhine õppimine | Otsimootorid, soovitussüsteemid, klastrite moodustamine |
| Näidismudelid | GPT-4, Claude, laama | Word2Vec, GloVe, FastText |
Staatilised vektori manustamised käsitlevad iga sõna ühe ruumipunktina, seega jagavad „õun“ (puuvili) ja „õun“ (ettevõte) samu koordinaate olenemata kontekstist. Lühiajalise mälu nihked toimivad erinevalt: kui transformaator töötleb lauset, kirjutavad selle tähelepanu kihid pidevalt ümber sisemisi esitusi, seega võib sama sõna kanda erinevat tähendust olenevalt sellest, mis sellele eelnes. Seetõttu saavad tänapäevased vestlusrobotid jälgida vestlust teie koera kohta ja seejärel lülituda astrofüüsika arutamisele ilma rada kaotamata.
Lühiajalise mälu nihked annavad mudelitele märkimisväärse paindlikkuse, kuid sellel paindlikkusel on oma hind. Iga uus märk nõuab tähelepanu ümberarvutamist kogu kontekstiaknas, mistõttu pikad vestlused muutuvad kalliks. Staatilised manustamised seevastu on sisuliselt otsingutabelid. Neid arvutatakse üks kord, salvestatakse ja kasutatakse miljoneid kordi uuesti. Selliste ülesannete jaoks nagu sarnaste dokumentide leidmine või otsingumootori käitamine on staatilised manustamised endiselt valdkonna tööhobune.
Üks põnevamaid avastusi hiljutistes tehisintellekti uuringutes on see, et transformaatorid näivad järeldamise ajal teostavat omamoodi sisemist õppimist. Kui anda mudelile mitu näidet ühes käsuviibas, võimaldavad lühiajalised mälunihked sellel mustrit "ära võtta" ja seda uutele sisenditele rakendada, seda kõike ilma ühtegi kaalu muutmata. Staatilised manustamised ei saa seda teha. Neid treeniti fikseeritud korpusel ja neil puudub mehhanism uute mustritega kohanemiseks käitusajal.
Kui lood miljonite dokumentide otsingusüsteemi, on staatilised manustamised endiselt praktiline valik, kuna need on kiired, odavad ja hästi mõistetavad. Kui lood agenti, mis peab pika vestluse üle arutlema või näidetest kohe õppima, on lühiajalise mälu nihutamine hädavajalik. Paljud tootmissüsteemid ühendavad tegelikult mõlemad: staatilised manustamised kiireks otsinguks ja seejärel rikkaliku lühiajalise mäluga transformaatori viimaseks arutluskäigu etapiks.
Staatilised manustamised domineerisid keelelises kirjanduses umbes aastatel 2013–2018, andes jõudu kõigele alates Google'i otsingust kuni varajaste vestlusrobotiteni. BERT-i tulek 2018. aastal tõi kaasa kontekstuaalsed manustamised, mis hägustasid kahe kontseptsiooni vahelist piiri. Tänapäeva suured keelemudelid on enamikus tipptasemel rakendustes staatilise manustamise sisuliselt asendanud, kuid vanem lähenemisviis on endiselt alles tootmissüsteemides, kus lihtsus ja kiirus on olulisemad kui nüanss.
Staatilised manustamised on suurte keelemudelite tõttu vananenud.
Staatilisi manuseid kasutatakse endiselt laialdaselt tootmisotsingumootorites, soovitussüsteemides ja klastrite moodustamise torujuhtmetes. Need on kiiremad, odavamad ja paremini tõlgendatavad kui iga päringu jaoks täieliku teisendaja käivitamine. Paljud tänapäevased süsteemid kasutavad staatilisi manuseid esimese läbimise filtrina enne kallima mudeli käivitamist.
Lühiajalise mälu nihked tähendavad, et mudel tegelikult õpib uut teavet.
Mudeli kaalud järelduse tegemise ajal ei muutu. Mis aga muutub, on aktivatsioonimuster kihtide vahel uute märgiste töötlemisel. See tekitab käitumise, mis näeb välja nagu õppimine, kuid midagi ei salvestu jäädavalt. Kui kontekstiaken mööda kerib, on „mälu” kadunud.
Staatilised manustamised ei suuda semantilisi seoseid jäädvustada.
Staatilised manustamised jäädvustavad kuulsalt selliseid suhteid nagu „kuningas - mees + naine ≈ kuninganna”. Need kodeerivad üllatavalt palju semantilist ja süntaktilist struktuuri, lihtsalt mitte kontekstist sõltuvat tähendust. Paljude järgnevate ülesannete jaoks on see enam kui piisav.
Lühiajalise mälu nihked muudavad mudelid keelest tõeliselt aru.
See, kas mõni praegune mudel keelt "mõistab", on filosoofiline arutelu. Lühiajalise mälu nihked võimaldavad mudelitel konteksti jälgida ja sidusaid vastuseid luua, kuid teadlased on eriarvamusel selles, kas see on arusaamine või keerukas mustrite sobitamine.
Suuremad manustused tähendavad alati paremat jõudlust.
Mõõtme manustamine on vaid üks nupp. Teatud punktist alates pakuvad suuremad vektorid vähenevat tulu ja võivad dimensioonilisuse needuse tõttu isegi väikeste andmekogumite puhul jõudlust kahjustada. Õige suurus sõltub sõnavarast, treeningandmetest ja järgnevast ülesandest.
Valige lühiajalise mälu nihked, kui vajate mudelit, mis kohandub kontekstiga, õpib näidetest käsureal või säilitab sidusaid mitmepöördelisi vestlusi. Valige staatilised vektori manustamised, kui vajate kiireid, odavaid ja tõlgendatavaid esitusi selliste ülesannete jaoks nagu dokumentide otsimine, klasterdamine või mis tahes stsenaariumid, kus kontekstist sõltumatu tähendus on piisav.
Mudeliteenuse A/B-testimine suunab liiklust konkureerivate mudeliversioonide vahel, et mõõta reaalset toimivust, samas kui ühe mudeli juurutamine saadab kõigile kasutajatele ühe mudeli. Meeskonnad valivad nende vahel riskitaluvuse, liiklusmahu ja statistilise valideerimise vajaduse alusel enne täielikku juurutamist.
Sisuväljaannete A/B-testimine hõlmab variatsioonide levitamist erinevatele sihtrühmadele ja tulemuslikkuse mõõtmist, samas kui ühekordsed sisuväljaanded suunavad ühe versiooni korraga kõigile. Igal lähenemisviisil on erinevad eesmärgid, kusjuures A/B-testimine eelistab andmepõhist optimeerimist ja ühekordsed väljaanded seavad esikohale kiiruse ja lihtsuse.
See detailne võrdlus uurib adaptiivsete intelligentsete mootorite arhitektuurilisi erinevusi, operatsioonilisi piiranguid ja reaalset jõudlust võrreldes fikseeritud käitumisega automatiseerimissüsteemidega. Vaatleme, kuidas süsteemid, mis pidevalt õpivad uutest keskkonnaandmetest, sobivad kokku jäikade ja ennustatavate reeglipõhiste raamistikega.
Adaptiivne otsing kohandab dünaamiliselt, kuidas ja millist teavet süsteem päringu põhjal hangib, samas kui staatilised otsingukanalid järgivad fikseeritud reegleid olenemata kontekstist. Mõlemad toetavad tänapäevaseid tehisintellekti rakendusi, kuid erinevad oluliselt paindlikkuse, maksumuse ja täpsuse poolest. Nende vahel valimine sõltub töökoormuse keerukusest ja eelarvest.
Agentide koolitamine keskkondades hõlmab õppimist reaalajas simuleeritud või füüsilise keskkonnaga suhtlemise kaudu, samas kui võrguühenduseta andmestiku koolitamine tugineb eelnevalt kogutud andmetele ilma täiendava keskkonnale juurdepääsuta. Mõlemad lähenemisviisid treenivad masinõppe mudeleid, kuid erinevad põhimõtteliselt selle poolest, kuidas agendid kogemusi koguvad ja jõudlust parandavad.
