Optimizacija učinkovitosti in širitev zmogljivosti predstavljata dve različni, a dopolnjujoči se strategiji pri razvoju umetne inteligence, pri čemer se prva osredotoča na maksimiranje učinkovitosti na enoto vira, druga pa premika meje zmogljivosti sistemov umetne inteligence.
Maksimiranje zmogljivosti umetne inteligence ob hkratnem zmanjševanju računskih, energetskih in finančnih stroškov z arhitekturnimi in algoritmičnimi izboljšavami.
Razširitev funkcionalnih meja sistemov umetne inteligence za obvladovanje novih nalog, daljših kontekstov, multimodalnih vnosov in nastajajočih vedenj.
| Funkcija | Optimizacija učinkovitosti | Širitev zmogljivosti |
|---|---|---|
| Primarni cilj | Naredite več z manj – zmanjšajte stroške, zakasnitev in energijo na enoto proizvodnje | Naredite tisto, kar je bilo prej nemogoče – razširite funkcionalne meje in povečajte kompleksnost nalog |
| Ključne tehnike | Kvantizacija, obrezovanje, destilacija, učinkovite arhitekture (mešanica strokovnjakov, modeli prostora stanj) | Skaliranje, multimodalna fuzija, arhitekture z dolgim kontekstom, agentni ogrodji, učenje z okrepitvijo iz človeških povratnih informacij |
| Intenzivnost virov | Običajno zmanjša računske zahteve za 10x-100x za enakovredne naloge | Pogosto poveča računske zahteve za 10x-1000x, da doseže nove pragove zmogljivosti. |
| Časovnica razvoja | Hitri iteracijski cikli, meseci za uvedbo optimizacij | Daljša raziskovalna obzorja, leta za razvoj temeljnih prebojev |
| Profil tveganja | Manjše tveganje, postopne izboljšave s predvidljivimi rezultati | Večje tveganje, negotovi donosi pri velikih naložbah |
| Komercialna sposobnost preživetja | Takojšnji prihranki stroškov, privlačni za aplikacije, občutljive na marže | Potencial za prelomne izdelke in ustvarjanje novih trgov |
| Vpliv na okolje | Zmanjšuje ogljični odtis na sklep, kar je ključnega pomena za cilje trajnosti. | Poveča absolutno porabo energije, kar vzbuja zaskrbljenost glede emisij podatkovnih centrov |
| Dostopnost | Demokratizira umetno inteligenco z omogočanjem uvajanja na omejeni strojni opremi | Pogosto koncentrira napredne zmogljivosti med dobro opremljenimi organizacijami |
Optimizacija učinkovitosti temelji na filozofiji zadostnosti – določanju, kako doseči ustrezne ali boljše rezultate z bistveno manj viri. Ekipe, ki sledijo tej poti, pogosto obravnavajo obstoječe zmogljivosti kot večinoma zadostne in se sprašujejo, kako jih narediti ekonomsko upravičene v velikem obsegu. Širitev zmogljivosti pa nasprotno temelji na filozofiji možnosti, ki se sprašuje, kakšna bistveno nova vedenja in storitve bi se lahko pojavile, če bi se omejitve glede obsega modela, dolžine konteksta ali vhodnih modalitet sprostile. To niso zgolj tehnične razlike; odražajo različna prepričanja o tem, ali je kratkoročna vrednost umetne inteligence v dostopnosti ali v prizadevanju za splošno umetno inteligenco.
Tabor učinkovitosti je prinesel izjemne inovacije na področju stiskanja modelov in načrtovanja arhitekture. Arhitekture mešanice strokovnjakov (MoE), kot so tiste v Mistralu in DeepSeeku, aktivirajo le podmnožice parametrov na vhod, medtem ko modeli prostora stanj, kot je Mamba, ponujajo alternative mehanizmom pozornosti z linearno in ne kvadratno kompleksnostjo. Na strani zmogljivosti so raziskovalci razširili kontekstna okna s tehnikami, kot so rotacijska pozicijska vgrajevanja in obročna pozornost, kar omogoča analizo celotnih knjig ali kodnih baz. Multimodalni pristopi k učenju zdaj združujejo razumevanje vida, zvoka in besedila na načine, ki omogočajo pristno medmodalno sklepanje in ne preprosto združevanje ločenih sistemov.
Povečanje učinkovitosti je stroške sklepanja na podlagi umetne inteligence znižalo za več velikostnih razredov, kar je zagonskim podjetjem omogočilo, da konkurirajo uveljavljenim akterjem, podjetjem pa, da uvedo umetno inteligenco v tisoče aplikacij namesto v peščico primerov uporabe z visoko vrednostjo. Ta pritisk komodifikacije ogroža marže podjetij z umetno inteligenco, ki se osredotočajo predvsem na API. Širitev zmogljivosti je medtem ustvarila ogromno ekonomsko vrednost, skoncentrirano med mejnimi laboratoriji – vrednotenje OpenAI, ki presega 80 milijard dolarjev, odraža prepričanje trga, da se vodstvo na področju zmogljivosti prevede v trajno konkurenčno prednost. Napetost med tema dvema potema ustvarja strateške dileme: ali naj organizacije vlagajo v pocenitev današnjih modelov ali pa stavijo na to, da bodo jutrišnji modeli dovolj transformativni, da bodo upravičili premium cene?
Pot do učinkovitosti ponuja resnične okoljske koristi; izvajanje optimiziranih modelov na učinkoviti strojni opremi lahko zmanjša emisije ogljika na poizvedbo za 90 % ali več. To je izjemno pomembno, saj obseg poizvedb umetne inteligence letno naraste na bilijone. Vendar pa povečanje učinkovitosti pogosto sproži povratne učinke – povečano uporabo, ki delno ali v celoti izravna izboljšave učinkovitosti. Okoljski stroški širitve zmogljivosti so bolj neposredni in vidni: usposabljanje modelov razreda GPT-4 porabi električno energijo, ki je enakovredna letni porabi stotin gospodinjstev. Družbeno gledano širitev zmogljivosti vzbuja zaskrbljenost glede koncentracije moči in dostopa, saj lahko le peščica organizacij financira pionirske raziskave, medtem ko optimizacija učinkovitosti obljublja širšo demokratizacijo, vendar lahko utrdi obstoječe zmogljivosti, namesto da bi jih izzvala.
Če jih uokvirimo kot čista nasprotja, preveč poenostavimo realnost. Številni preboji omogočajo obe poti hkrati – izboljšana učinkovitost učenja omogoča večje modele znotraj fiksnih proračunov, nove zmogljivosti pa pogosto izhajajo iz arhitekturnih inovacij, ki jih spodbuja učinkovitost. Sam transformator je bil delno motiviran z računsko učinkovitostjo v primerjavi s ponavljajočimi se omrežji. V praksi zrele organizacije za umetno inteligenco iščejo oboje: optimizacijo uvajanja trenutnih zmogljivosti ob hkratnem ohranjanju naložb v raziskave za širitev naslednje generacije. Najbolj produktivno vprašanje morda ni, katero izbrati, temveč kako strukturirati organizacije in financiranje, da se omogoči produktivna interakcija med raziskavami učinkovitosti in širitve.
Optimizacija učinkovitosti preprosto pomeni zmanjšanje modelov brez pomembnega vpliva na zmogljivosti.
Sodobne tehnike učinkovitosti ohranjajo ali celo izboljšujejo zmogljivosti z boljšimi arhitekturami. Modeli, kot sta MiniCPM in Phi, dokazujejo, da lahko skrbno učenje in arhitekturne izbire ustvarijo majhne modele s presenetljivo robustnimi zmogljivostmi, kar izpodbija predpostavko, da je obseg glavni dejavnik učinkovitosti.
Širitev zmogljivosti je predvsem v tem, da se obstoječim pristopom doda več računskih zmogljivosti.
Čeprav je skaliranje pomembno, resnična širitev zmogljivosti zahteva znatne algoritmične inovacije. Skok z GPT-3 na GPT-4 ni vključeval le več parametrov, temveč tudi izboljšane tehnike učenja, kuriranje podatkov in metode poravnave. Surovo skaliranje brez inovacij kaže znake doseganja platoja na določenih področjih.
Organizacije se morajo odločiti izključno med učinkovitostjo in širitvijo.
Najuspešnejši laboratoriji za umetno inteligenco si hkrati prizadevajo za oboje. Googlova ekipa Gemini na primer veliko vlaga v učinkovito strežno infrastrukturo, hkrati pa širi nove zmogljivosti. Izbira je bolj odvisna od razmerij dodelitve virov kot od izključne zavezanosti.
Učinkoviti modeli so vedno okolju prijaznejši.
Povečanje učinkovitosti pogosto sproži povečano porabo, ki zaradi povratnih učinkov izniči okoljske koristi. Model, ki je 10-krat učinkovitejši in ima 20-krat večjo porabo, poveča skupno porabo energije. Absolutni vpliv na okolje je odvisen od vzorcev uporabe, ne le od učinkovitosti na poizvedbo.
Širitev zmogljivosti je pomembna le za velika tehnološka podjetja z ogromnimi viri.
Odprtokodne skupnosti in akademski laboratoriji bistveno prispevajo k širitvi zmogljivosti, včasih s skromnimi viri. Modeli Llama, Stable Diffusion in številni raziskovalni članki kažejo, da pomembni napredki v zmogljivostih izhajajo iz različnih modelov financiranja, ne le iz korporativnih raziskav in razvoja.
Optimizacija učinkovitosti je rešila problem dostopnosti umetne inteligence.
Čeprav so se stroški sklepanja močno znižali, smiselna uvedba še vedno zahteva znatno inženirsko znanje, podatkovno infrastrukturo in stalno vzdrževanje. Vrzel med teoretično dostopnostjo in praktično izvedbo ostaja precejšnja za številne organizacije, zlasti v reguliranih panogah.
Organizacije s stabilnimi in dobro razumljenimi primeri uporabe bi morale dati prednost optimizaciji učinkovitosti za izboljšanje marž in dostopnosti, medtem ko bi morale tiste, ki iščejo transformativno konkurenčno prednost ali rešujejo težave, ki presegajo trenutne zmogljivosti umetne inteligence, vlagati v širitev zmogljivosti. Večina uspešnih dolgoročnih strategij bo uravnotežila oboje, pri čemer bo povečala učinkovitost za financiranje in uvajanje raziskav širitve interneta stvari.
A/B testiranje pri izdajah vsebin vključuje uvajanje različic za različne segmente občinstva in merjenje uspešnosti, medtem ko enkratne izdaje vsebin hkrati vsem ponudijo eno različico. Vsak pristop ustreza različnim ciljem, pri čemer A/B testiranje daje prednost optimizaciji, ki temelji na podatkih, enkratne izdaje pa dajejo prednost hitrosti in preprostosti.
A/B testiranje pri streženju modelov usmerja promet med konkurenčnimi različicami modelov za merjenje učinkovitosti v resničnem svetu, medtem ko uvedba enega modela vsem uporabnikom dostavi en model. Ekipe izbirajo med njimi glede na toleranco tveganja, količino prometa in potrebo po statistični potrditvi pred popolno uvedbo.
Agenti umetne inteligence so avtonomni, ciljno usmerjeni sistemi, ki lahko načrtujejo, sklepajo in izvajajo naloge v različnih orodjih, medtem ko tradicionalne spletne aplikacije sledijo fiksnim delovnim procesom, ki jih vodijo uporabniki. Primerjava poudarja premik od statičnih vmesnikov k prilagodljivim, kontekstualno ozaveščenim sistemom, ki lahko proaktivno pomagajo uporabnikom, avtomatizirajo odločitve in dinamično komunicirajo med več storitvami.
Ta arhitekturna primerjava primerja deterministično inženirstvo agentov, ki temeljijo na pravilih, s prilagodljivo naravo učnih agentov, ki temeljijo na podatkih, ter ocenjuje njihovo uporabnost v resničnem svetu, omejitve skaliranja in delovanje v negotovosti.
Agentni sistemi umetne inteligence lahko načrtujejo, izvajajo večstopenjske naloge in avtonomno komunicirajo z zunanjimi orodji, medtem ko tradicionalni klepetalni roboti LLM primarno ustvarjajo besedilne odgovore v enem samem pogovornem koraku. Ključna razlika je v agenciji: agentni sistemi delujejo na podlagi ciljev, medtem ko klepetalni roboti reagirajo na pozive.
