Šiuo metu transformatoriai dominuoja šiuolaikiniame dirbtiniame intelekte dėl savo mastelio keitimo, puikaus našumo ir ekosistemos brandos, tačiau naujos architektūros, tokios kaip būsenos erdvės modeliai ir tiesinės sekos modeliai, meta jiems iššūkį, siūlydamos efektyvesnį ilgo konteksto apdorojimą. Ši sritis sparčiai vystosi, nes tyrėjai bando subalansuoti našumą, kainą ir mastelio keitimą naujos kartos dirbtinio intelekto sistemose.
Transformatoriais pagrįsti modeliai remiasi savęs dėmesio mechanizmais ir tapo daugelio šiuolaikinių didelių kalbų ir multimodalinių sistemų pagrindu.
Nauji sekos modeliavimo metodai, tokie kaip būsenos erdvės modeliai, tiesinis dėmesys ir hibridinės sistemos, siekia pagerinti efektyvumą ir ilgo konteksto apdorojimą.
| Funkcija | Transformatoriaus dominavimas | Kylančios architektūros alternatyvos |
|---|---|---|
| Pagrindinis mechanizmas | Savęs dėmesys visuose žetonuose | Būsenos evoliucija arba tiesinės sekos modeliavimas |
| Skaičiavimo sudėtingumas | Kvadratinė su sekos ilgiu | Dažnai tiesinis arba beveik tiesinis |
| Ilgo konteksto apdorojimas | Ribotas be optimizavimo | Efektyvesnis dėl savo konstrukcijos |
| Treniruočių stabilumas | Labai optimizuotas ir stabilus | Tobulėjantis, bet mažiau subrendęs |
| Ekosistemos branda | Ypač brandus ir plačiai priimtas | Besiformuojantys ir sparčiai besivystantys |
| Išvadų efektyvumas | Sunkesnis ilgoms sekoms | Efektyvesnis ilgoms sekoms |
| Lankstumas įvairiose srityse | Stiprus tekste, vaizduose ir garsuose | Perspektyvus, bet mažiau universalus |
| Aparatinės įrangos optimizavimas | Labai optimizuota GPU/TPU | Vis dar prisitaikoma prie aparatinės įrangos rinkinių |
Transformatoriai remiasi savęs dėmesiu, kai kiekvienas žetonas sąveikauja su kiekvienu kitu sekos žetonu. Tai sukuria labai išraiškingus vaizdus, tačiau taip pat padidina skaičiavimo sąnaudas. Besiformuojančios architektūros tai pakeičia struktūrizuotais būsenų perėjimais arba supaprastintais dėmesio mechanizmais, siekdamos efektyvesnio sekos apdorojimo be visiškos porinės žetonų sąveikos.
Vienas didžiausių transformatorių apribojimų yra jų kvadratinis mastelio keitimas pagal sekos ilgį, kuris tampa brangus esant labai ilgiems įvesties duomenims. Naujos architektūros daugiausia dėmesio skiria tiesiniam arba beveik tiesiniam mastelio keitimui, todėl jos yra patrauklesnės tokioms užduotims kaip ilgų dokumentų apdorojimas, nepertraukiami srautai arba daug atminties reikalaujančios programos.
Transformatoriai šiuo metu išlaiko tvirtą lyderystę bendrosios paskirties našumo srityje, ypač didelio masto iš anksto apmokytuose modeliuose. Nauji modeliai gali prilygti jiems arba priartėti prie jų konkrečiose srityse, ypač ilgalaikio konteksto samprotavimo srityje, tačiau jie vis dar vejasi plačios etaloninės analizės dominavimo ir gamybinės plėtros srityse.
Transformatorių ekosistema yra itin išsivysčiusi, su optimizuotomis bibliotekomis, iš anksto apmokytais kontroliniais taškais ir plačiu pramonės palaikymu. Tuo tarpu alternatyvios architektūros vis dar kuria savo įrankius, todėl jas sunkiau diegti dideliu mastu, nepaisant jų teorinių pranašumų.
Transformatoriams reikalingos modifikacijos, tokios kaip retas dėmesys arba išorinė atmintis, kad jie galėtų efektyviai apdoroti ilgus kontekstus. Alternatyvios architektūros dažnai kuriamos su ilga konteksto efektyvumu kaip pagrindine savybe, leidžiančia joms apdoroti ilgas sekas natūraliau ir naudojant mažiau atminties.
Užuot visiškai pakeitus šias sistemas, sritis juda hibridinių sistemų link, kurios sujungia transformatorinio tipo dėmesį su struktūrizuotais būsenos modeliais. Ši hibridinė kryptis siekia išlaikyti transformatorinio stiliaus lankstumą, kartu integruojant naujesnių architektūrų efektyvumo privalumus.
Transformatoriai bus visiškai pakeisti artimiausiu metu
Nors alternatyvos sparčiai tobulėja, transformatoriai vis dar dominuoja realiame pasaulyje dėl ekosistemos tvirtumo ir patikimumo. Visiškas pakeitimas artimiausiu metu mažai tikėtinas.
Naujos architektūros visada pranoksta transformatorius
Besiformuojantys modeliai dažnai pasižymi konkrečiose srityse, tokiose kaip ilgalaikis efektyvumas, tačiau gali atsilikti bendro samprotavimo ar didelio masto etaloninių tyrimų rezultatų srityse.
Transformatoriai visiškai negali apdoroti ilgų sekų
Transformatoriai gali apdoroti ilgus kontekstus naudodami tokius metodus kaip retas dėmesys, stumdomi langai ir išplėstiniai konteksto variantai, nors ir brangiau.
Būsenos erdvės modeliai yra tik supaprastinti transformatoriai
Būsenos erdvės modeliai atspindi iš esmės kitokį požiūrį, pagrįstą nepertraukiamo laiko dinamika ir struktūrizuotais būsenų perėjimais, o ne dėmesio mechanizmais.
Besiformuojančios architektūros jau yra gamybai paruošti pakaitalai
Daugelis jų vis dar yra aktyvių tyrimų arba ankstyvojo diegimo stadijose, o didelio masto diegimas, palyginti su transformatoriais, yra ribotas.
Dėl neprilygstamos ekosistemos ir puikaus bendro našumo transformatoriai išlieka dominuojančia šiuolaikinio dirbtinio intelekto architektūra. Tačiau naujos architektūros yra ne tik teorinės alternatyvos – jos yra praktiniai konkurentai efektyvumui svarbiose situacijose. Labiausiai tikėtina ateitis yra hibridinė aplinka, kurioje abu metodai egzistuoja kartu, priklausomai nuo užduoties reikalavimų.
Dirbtinio intelekto aplaidumas reiškia mažai pastangų reikalaujantį, masinės gamybos dirbtinio intelekto turinį, sukurtą beveik be priežiūros, o žmogaus vadovaujamas dirbtinio intelekto darbas derina dirbtinį intelektą su kruopščiu redagavimu, vadovavimu ir kūrybiniu sprendimu. Skirtumas paprastai priklauso nuo kokybės, originalumo, naudingumo ir to, ar realus žmogus aktyviai formuoja galutinį rezultatą.
Asmeniniai dirbtinio intelekto agentai yra besiformuojančios sistemos, kurios veikia vartotojų vardu, savarankiškai priimdamos sprendimus ir atlikdamos daugiapakopes užduotis, o tradicinės SaaS priemonės remiasi vartotojų valdomais darbo eigomis ir iš anksto apibrėžtomis sąsajomis. Pagrindinis skirtumas yra autonomija, prisitaikomumas ir tai, kiek kognityvinės apkrovos perkeliama iš vartotojo pačiai programinei įrangai.
„Transformers“ susiduria su augančiais atminties poreikiais, nes sekos ilgis didėja dėl visiško dėmesio visiems žetonams, o „Mamba“ pristato būsenos erdvės metodą, kuris apdoroja sekas nuosekliai su suspaustomis paslėptomis būsenomis, žymiai pagerindamas atminties efektyvumą ir užtikrindamas geresnį mastelio keitimą ilgo konteksto užduotims šiuolaikinėse dirbtinio intelekto sistemose.
Ši palyginimas nagrinėja pagrindinius skirtumus tarp atvirojo kodo dirbtinio intelekto ir nuosavybinio dirbtinio intelekto, apimdamas prieinamumą, tinkinimą, kainą, palaikymą, saugumą, našumą ir praktinius taikymo atvejus, padėdamas organizacijoms ir kūrėjams apsispręsti, kuris požiūris geriausiai atitinka jų tikslus ir technines galimybes.
Autonominės dirbtinio intelekto ekonomikos yra besiformuojančios sistemos, kuriose dirbtinio intelekto agentai koordinuoja gamybą, kainodarą ir išteklių paskirstymą su minimaliu žmogaus įsikišimu, o žmonių valdomos ekonomikos remiasi institucijomis, vyriausybėmis ir žmonėmis, kad šie priimtų ekonominius sprendimus. Abiejų sistemų tikslas – optimizuoti efektyvumą ir gerovę, tačiau jos iš esmės skiriasi kontrole, prisitaikomumu, skaidrumu ir ilgalaikiu poveikiu visuomenei.
