Apmācības izmaksas atspoguļo milzīgus vienreizējus ieguldījumus lielu valodu modeļu izveidē, savukārt secinājumu izmaksas ir pastāvīgie izdevumi katru reizi, kad lietotāji ģenerē atbildes, kopā veidojot pilnīgu ekonomisko ainu par mākslīgā intelekta ieviešanu plašā mērogā.
Pastāvīgie izdevumi par apmācītu LLM darbināšanu, lai ģenerētu rezultātus lietotāju vaicājumiem ražošanas vidē.
Ievērojamie sākotnējie ieguldījumi skaitļošanas jaudās, datos un laikā, kas nepieciešami pamatmodeļu izstrādei.
| Funkcija | Secinājumu izmaksas | Apmācības izmaksas |
|---|---|---|
| Izmaksu struktūra | Maksa par lietošanas reizi, mērogojama ar vaicājumiem | Liela avansa maksa, lielā mērā fiksēta |
| Tipisks lielums | Centi par tūkstoš žetoniem | Simtiem miljonu uz katru pierobežas modeli |
| Aparatūras izmantošana | Intermitējošs, atkarīgs no pieprasījuma | Ilgstoša, intensīva vairāku nedēļu/mēnešu garumā |
| Optimizācijas fokuss | Latentums, caurlaidspēja, partijveida apstrāde | Paralēlā efektivitāte, konverģences ātrums |
| Biznesa modeļa ietekme | Tieši ietekmē peļņas normas un cenas | Amortizēts visā produkta kalpošanas laikā |
| Enerģijas patēriņa modelis | Straujš, lietotāju virzīts pieprasījums | Nepārtraukts, koncentrēts uzliesmojums |
| Mērogošanas izaicinājums | Lineārs ar lietotāju pieņemšanu | Sublineārs ar modeļa uzlabojumiem |
| Galvenie izmaksu faktori | Žetona apjoms, modeļa lielums, vienlaicība | Modeļa parametri, datu apjoms, apmācības ilgums |
Apmācības izmaksas uzreiz ietekmē līdzīgi kā rūpnīcas celtniecība — pirms atdeves ir nepieciešams sākotnējais kapitāls un pacietība. Secinājumu izmaksas nepārtraukti pieaug, līdzīgi kā komunālo pakalpojumu rēķinu apmaksa, kas pieaug līdz ar to, cik bieži jūs izmantojat to, ko esat uzbūvējis. Šī fundamentālā laika atšķirība ietekmē visu, sākot no līdzekļu piesaistes līdz cenu noteikšanas stratēģijai mākslīgā intelekta uzņēmumiem.
Apmācībai nepieciešami visspēcīgākie pieejamie klasteri, kas bieži vien ir pielāgoti un kuros desmitiem tūkstošu savstarpēji savienotu grafisko procesoru darbojas precīzā sinhronizācijā. Secinājumus var veikt ar pieticīgāku aparatūru, lai gan lielā mērogā tiem joprojām ir nepieciešama ievērojama infrastruktūra, kas tikai sadalīta atšķirīgi pa reģioniem, lai samazinātu latentumu lietotājiem visā pasaulē.
Inženieru apmācība ir apsēsta ar matemātisko efektivitāti: kā panākt vairāk gradienta soļu uz vienu dolāru, vienlaikus saglabājot konverģences stabilitāti. Secinājumu inženieri dzīvo citā pasaulē, dzenoties pēc milisekundēm latentuma un izdomājot gudrus veidus, kā atkārtoti izmantot aprēķinus līdzīgos pieprasījumos, lietotājiem to nepamanot.
Apmācības izmaksu barjera izskaidro, kāpēc tikai nedaudzi uzņēmumi veido pamatmodeļus no nulles, savukārt simtiem tos ievieš. Pēc apmācības modeļa apkalpošanas robežizmaksas kļūst par konkurences kaujas lauku — OpenAI API cenu kari ar Google un Anthony tieši atspoguļo secinājumu izmaksu spiedienu.
Viens liela mēroga modeļa apmācības cikls var radīt oglekļa emisijas, kas ir līdzvērtīgas simtiem automašīnu gada laikā nobrauktām ogļskābās gāzes emisijām. Secinājumu ietekme izplatās starp miljoniem lietotāju, padarot atsevišķus vaicājumus šķistu nenozīmīgus, bet kopumā atspoguļojot lielāku ietekmi uz vidi, paātrinoties mākslīgā intelekta ieviešanai.
Apmācība vienmēr ir visdārgākā LLM biznesa vadīšanas daļa.
Lielākajai daļai veiksmīgu mākslīgā intelekta produktu secinājumu izmaksas ātri pārsniedz apmācības ieguldījumus. Modelis, kas apkalpo miljoniem lietotāju katru dienu, var iztērēt līdzvērtīgas apmācības izmaksas dažu nedēļu laikā, veicot secinājumus. Šī attiecība dramatiski mainās pēc produkta un tirgus atbilstības noteikšanas.
Lielāku modeļu secinājumu izdarīšana vienmēr izmaksā vairāk.
Lai gan lielākiem modeļiem ir nepieciešams lielāks skaitļošanas apjoms uz vienu marķieri, tādas metodes kā ekspertu jauktas arhitektūras aktivizē tikai daļas no modeļa katrā vaicājumā. Google Gemini izmanto retu aktivizāciju, lai apkalpotu milzīgus modeļus ekonomiskāk, nekā to atļautu blīvas alternatīvas.
Pēc apmācības modeļa izmaksas būtībā ir fiksētas.
Secinājumu izmaksas ievērojami atšķiras atkarībā no ieviešanas kvalitātes, partijveida apstrādes stratēģijas, aparatūras izvēles un pat ātras izstrādes, kas ietekmē izvades garumu. Diviem uzņēmumiem, kas izmanto identiskus modeļus, izmaksu atšķirības var būt 10 reizes lielākas darbības izcilības vai tās trūkuma dēļ.
Tehnoloģiju uzņēmumu apmācību izmaksu aplēses ir uzticamas un pārredzamas.
Ziņotajos skaitļos bieži vien nav iekļautas pētījumu iterācijas, neveiksmīgi izmēģinājumi, datu iegūšana un inženieru algas. GPT-4 izstrādes patiesās izmaksas, visticamāk, ievērojami pārsniedz publiski minētos skaitļus, ja tiek iekļauta visa pētniecības un attīstības ekosistēma, kas atbalsta galīgo apmācības izmēģinājumu.
Izvietošana uz vietas novērš secinājumu izmaksas.
Lai gan mākoņa API iezīmējumi izzūd, tos aizstāj kapitālieguldījumi aparatūrai, elektrībai, dzesēšanai un uzturēšanai. Kopējo īpašumtiesību izmaksu aprēķinos bieži vien tiek dota priekšroka mākonim mainīgas slodzes gadījumā un lokālai videi tikai ārkārtīgi paredzamiem, liela apjoma scenārijiem.
Izvēlieties apmācības ieguldījumus, veidojot diferencētas patentētas iespējas vai darbojoties plašā mērogā, kur atmaksājas vertikālā integrācija. Izvietojot esošos modeļus, prioritizējiet secinājumu izmaksu optimizāciju, īpaši liela apjoma lietojumprogrammām, kur rentabilitāti nosaka katra vaicājuma ekonomika. Lielākā daļa organizāciju saprātīgi pilnībā izvairās no apmācības izmaksām, licencējot pamatmodeļus un koncentrējot inženiertehniskos resursus uz secinājumu efektivitāti.
A/B testēšana modeļu apkalpošanā novirza trafiku starp konkurējošām modeļu versijām, lai novērtētu reālo veiktspēju, savukārt viena modeļa ieviešana visiem lietotājiem nosūta vienu modeli. Komandas izvēlas starp tiem, pamatojoties uz riska toleranci, trafika apjomu un statistiskās validācijas nepieciešamību pirms pilnīgas ieviešanas.
A/B testēšana satura izlaidumos ietver variāciju ieviešanu dažādiem auditorijas segmentiem un veiktspējas mērīšanu, savukārt vienreizēji satura izlaidumi vienlaikus nodrošina vienu versiju visiem lietotājiem. Katra pieeja atbilst dažādiem mērķiem, A/B testēšanai dodot priekšroku uz datiem balstītai optimizācijai, bet vienreizējiem izlaidumiem prioritāte ir ātrums un vienkāršība.
Adaptīvā izguve dinamiski pielāgo, kā un kādu informāciju sistēma izgūst, pamatojoties uz vaicājumu, savukārt statiskās izguves cauruļvadi ievēro fiksētus noteikumus neatkarīgi no konteksta. Abas nodrošina modernas mākslīgā intelekta lietojumprogrammas, taču tās ievērojami atšķiras pēc elastības, izmaksām un precizitātes. Izvēle starp tām ir atkarīga no darba slodzes sarežģītības un budžeta.
Šajā detalizētajā salīdzinājumā tiek pētītas adaptīvo intelekta dzinēju arhitektūras atšķirības, darbības ierobežojumi un reālā veiktspēja salīdzinājumā ar fiksētas uzvedības automatizācijas sistēmām. Mēs aplūkojam, kā sistēmas, kas nepārtraukti mācās no jauniem vides datiem, atbilst stingrām, paredzamām, uz noteikumiem balstītām sistēmām.
Aģentu apmācība vidēs ietver mācīšanos, izmantojot reāllaika mijiedarbību ar simulētu vai fizisku vidi, savukārt bezsaistes datu kopu apmācība balstās uz iepriekš apkopotiem datiem bez papildu piekļuves videi. Abas pieejas apmāca mašīnmācīšanās modeļus, taču būtiski atšķiras tas, kā aģenti apkopo pieredzi un uzlabo veiktspēju.
