Modeļu mērogošanas likumi un arhitektūras inovācijas ir divas konkurējošas filozofijas mākslīgā intelekta spēju uzlabošanai. Mērogošanas likumi liecina, ka lielāki modeļi, kas apmācīti ar lielāku datu apjomu, sniedz paredzamus ieguvumus, savukārt arhitektūras inovācijas koncentrējas uz viedākiem dizainiem, kas sasniedz vairāk ar mazāku skaitļošanas apjomu.
Empīriski principi, kas parāda, kā mākslīgā intelekta modeļa veiktspēja paredzami uzlabojas, palielinoties parametru, datu un skaitļošanas apjomu skaitam.
Jauni neironu tīklu dizaini, kas uzlabo mākslīgā intelekta efektivitāti un iespējas, pārsniedzot to, ko nodrošina tikai neapstrādāta mērogošana.
| Funkcija | Modeļa mērogošanas likumi | Arhitektūras inovācijas |
|---|---|---|
| Galvenā filozofija | Lielāki modeļi + vairāk datu = labāka veiktspēja | Gudrāki dizaini sasniedz vairāk ar mazāku skaitļošanas apjomu |
| Galvenais izmaksu virzītājspēks | Aprēķini un enerģija treniņiem | Pētniecības talants un dizaina iterācija |
| Ieguvumu paredzamība | Ļoti paredzams, izmantojot pakāpes likumus | Neparedzami; izrāvieni ir neregulāri |
| Galvenie atbalstītāji | OpenAI, antropiskās, mērogošanas hipotēzes aizstāvji | DeepMind, akadēmiskie pētnieki, uz efektivitāti vērstas laboratorijas |
| Aprēķinu prasības | Masveida un eksponenciāli augošs | Bieži vien zemāks; var darboties ar pieticīgu aparatūru |
| Veiktspējas griesti | Ierobežots ar pieejamajiem skaitļošanas datiem un datiem | Ierobežota ar cilvēka atjautību dizainā |
| Rezultātu sasniegšanas laika horizonts | Paredzams, bet lēns (vairāku mēnešu apmācība) | Mainīgs; var ātri nodrošināt izrāvienu |
| Reprezentatīvi piemēri | GPT-4, Klods 3, Gemini Ultra | Mamba, MoE modeļi, zibspuldzes uzmanības novēršana, RAG sistēmas |
Modeļa mērogošanas likumi balstās uz vienkāršu, bet spēcīgu ideju: intelekts rodas no mēroga. Empīriskie pierādījumi no Kaplana 2020. gada raksta un Činčilas 2022. gada precizējuma liecina, ka veiktspējas uzlabojumi atbilst paredzamām matemātiskām attiecībām. Arhitektūras inovāciju pārstāvji pauž pretēju viedokli, apgalvojot, ka gudra inženierija var iegūt vairāk iespēju no esošajiem skaitļošanas resursiem. Abas nometnes piekrīt, ka mērogošana darbojas; tās nepiekrīt tam, vai tas ir vienīgais ceļš uz priekšu.
Jaunu, plaša mēroga modeļu apmācība vien skaitļošanas ziņā izmaksā desmitiem miljonu dolāru, un GPT-4 klases sistēmu izmaksas, kā ziņots, pārsniedz 100 miljonus dolāru. Arhitektūras inovācijas piedāvā fundamentāli atšķirīgu ekonomiku: labi izstrādāts modelis var sasniegt vai pārspēt lielākus konkurentus par daudz zemākām apmācības izmaksām. Tas padara arhitektūras inovācijas īpaši pievilcīgas akadēmiskajām laboratorijām, jaunuzņēmumiem un organizācijām bez hiperskalibratoru budžeta.
Mērogošanas likumi sniedz kaut ko retu mākslīgā intelekta pētījumos: paredzamību. Ja veicat dubultu aprēķinu, jūs aptuveni zināt, kādus uzlabojumus sagaidīt. Arhitektūras inovācijas pēc savas būtības ir riskantākas, jo sasniegumi ir atkarīgi no ieskatiem, nevis aritmētikas. Tomēr, kad tiek panākti arhitektūras sasniegumi, tie var pārspēt gadiem ilgu pakāpenisku mērogošanas pieaugumu. Pats Transformers bija šāds lēciens, kas novecoja gadiem ilgu RNN mērogošanas darbu vienas nakts laikā.
Nozare arvien vairāk atzīst, ka tīrai mērogošanai ir ierobežojumi. Pat OpenAI vadība ir publiski apspriedusi sadursmes ar datu pieejamības un skaitļošanas ekonomikas šķēršļiem. Tikmēr arhitektūras inovācijas paātrinās: ekspertu sajaukšanas modeļi, piemēram, Mixtral, efektīvi uzmanības varianti un stāvokļa telpas modeļi, gūst popularitāti. Lielākā daļa progresīvo laboratoriju tagad īsteno abas stratēģijas vienlaicīgi, uzskatot tās par papildinošām, nevis konkurējošām.
Raugoties nākotnē, neviena no šīm pieejām atsevišķi, visticamāk, nenodrošinās mākslīgā intelekta (MI) cilvēka līmeņa spējas. Mērogošanas likumi liecina, ka mēs turpināsim palielināt modeļa lielumu, taču samazinātā atdeve un resursu ierobežojumi liks vairāk paļauties uz arhitektūras attapību. Visdaudzsološākais virziens uz priekšu apvieno abus: mērogošanas likumu izmantošanu, lai noteiktu optimālo modeļa lielumu, vienlaikus piemērojot arhitektūras inovācijas, lai maksimāli palielinātu iespējas katram parametram. Šī hibrīdpieeja nosaka pašreizējo MI pētījumu robežu.
Mērogošanas likumi nozīmē, ka lielāki modeļi vienmēr ir labāki.
Chinchilla parādīja, ka modeļa lielumam un apmācības datiem ir jābūt mērogojamiem kopā. 70B modelis, kas apmācīts ar nepietiekamiem datiem, darbosies sliktāk nekā mazāks modelis, kas apmācīts ar atbilstošiem datiem. Attiecības ir saistītas ar līdzsvaru, ne tikai ar izmēru.
Arhitektūras inovācijas ir tikai veids, kā izvairīties no izdevumiem skaitļošanas vajadzībām.
Arhitektūras sasniegumi bieži vien paver pilnīgi jaunas iespējas, ko nevar panākt tikai ar mērogošanu. Transformer ne tikai padarīja modeļus lētākus; tas ļāva apstrādāt ilgākus kontekstus un paralēli apmācīt, ko RNN principiāli nevarēja atbalstīt.
Mērogošanas likumi turpināsies bezgalīgi, līdz mēs sasniegsim AGI.
Pētnieki ir dokumentējuši samazinātu atdevi robežsastāvdaļās. Katra skaitļošanas jaudas dubultošana tagad nodrošina mazāku veiktspējas pieaugumu nekā iepriekšējās dubultošanas. Arī datu kvalitāte un pieejamība kļūst par stingriem ierobežojumiem, kurus vienkārša mērogošana nevar pārvarēt.
Šīs divas pieejas ir savstarpēji izslēdzošas.
Mūsdienu pierobežas modeļi izmanto abus. GPT-4, visticamāk, ietver arhitektūras inovācijas līdzās milzīgam mērogam. Debates patiesībā ir par uzsvaru un resursu sadali, nevis par izvēli starp diviem vai vairākiem variantiem.
Arhitektūras inovācijas vienmēr ir labākas par mērogošanu.
Gudra arhitektūra ar nepietiekamiem parametriem vai datiem stagnēs. Arhitektūras inovācijas parasti vislabāk darbojas, ja tās tiek apvienotas ar atbilstošu mērogu. Veiksmīgākās sistēmas vienlaikus optimizē abas dimensijas.
Izvēlieties modeļa mērogošanas likumus, ja jums ir milzīgi skaitļošanas budžeti un nepieciešami paredzami, pakāpeniski uzlabojumi esošajās arhitektūrās. Izvēlieties arhitektūras inovācijas, ja resursi ir ierobežoti, ja nepieciešama efektivitāte secinājumu izdarīšanas laikā vai ja meklējat iespējas, kuras tīra mērogošana nespēj nodrošināt. Praksē mūsdienās veiksmīgākās mākslīgā intelekta sistēmas apvieno abas filozofijas, nevis apņemas izmantot tikai vienu.
A/B testēšana modeļu apkalpošanā novirza trafiku starp konkurējošām modeļu versijām, lai novērtētu reālo veiktspēju, savukārt viena modeļa ieviešana visiem lietotājiem nosūta vienu modeli. Komandas izvēlas starp tiem, pamatojoties uz riska toleranci, trafika apjomu un statistiskās validācijas nepieciešamību pirms pilnīgas ieviešanas.
A/B testēšana satura izlaidumos ietver variāciju ieviešanu dažādiem auditorijas segmentiem un veiktspējas mērīšanu, savukārt vienreizēji satura izlaidumi vienlaikus nodrošina vienu versiju visiem lietotājiem. Katra pieeja atbilst dažādiem mērķiem, A/B testēšanai dodot priekšroku uz datiem balstītai optimizācijai, bet vienreizējiem izlaidumiem prioritāte ir ātrums un vienkāršība.
Adaptīvā izguve dinamiski pielāgo, kā un kādu informāciju sistēma izgūst, pamatojoties uz vaicājumu, savukārt statiskās izguves cauruļvadi ievēro fiksētus noteikumus neatkarīgi no konteksta. Abas nodrošina modernas mākslīgā intelekta lietojumprogrammas, taču tās ievērojami atšķiras pēc elastības, izmaksām un precizitātes. Izvēle starp tām ir atkarīga no darba slodzes sarežģītības un budžeta.
Šajā detalizētajā salīdzinājumā tiek pētītas adaptīvo intelekta dzinēju arhitektūras atšķirības, darbības ierobežojumi un reālā veiktspēja salīdzinājumā ar fiksētas uzvedības automatizācijas sistēmām. Mēs aplūkojam, kā sistēmas, kas nepārtraukti mācās no jauniem vides datiem, atbilst stingrām, paredzamām, uz noteikumiem balstītām sistēmām.
Aģentu apmācība vidēs ietver mācīšanos, izmantojot reāllaika mijiedarbību ar simulētu vai fizisku vidi, savukārt bezsaistes datu kopu apmācība balstās uz iepriekš apkopotiem datiem bez papildu piekļuves videi. Abas pieejas apmāca mašīnmācīšanās modeļus, taču būtiski atšķiras tas, kā aģenti apkopo pieredzi un uzlabo veiktspēju.
