Učinkovitost žetonov se osredotoča na to, kako dobro modeli umetne inteligence uporabljajo svoj računalniški proračun na nalogo, medtem ko razširitev kontekstnega okna poveča največjo količino besedila, ki jo lahko model obdela hkrati. Oboje oblikujeta delovanje sodobne umetne inteligence, vendar obravnavata bistveno različna ozka grla v načinu, kako jezikovni modeli obravnavajo informacije.
Praksa zmanjševanja porabljenih žetonov za maksimiranje kakovosti rezultatov in zmanjšanje računskih stroškov v modelih jezikov umetne inteligence.
Nenehna prizadevanja za povečanje količine besedila, kode ali pogovora, ki jih lahko model umetne inteligence obdela v eni sami interakciji.
| Funkcija | Učinkovitost žetonov | Razširitev velikosti kontekstnega okna |
|---|---|---|
| Primarni cilj | Maksimizirajte kakovost izhoda na uporabljeni žeton | Maksimizirajte količino vhodnih podatkov, ki jih lahko model obdela hkrati |
| Vpliv na stroške | Zmanjšuje stroške API-ja in računalništva | Znatno poveča stroške pomnilnika in obdelave |
| Kompromis glede zmogljivosti | Boljši rezultati znotraj obstoječih omejitev | Zmanjševanje donosov po določenem številu žetonov |
| Izvedbeni pristop | Hitro inženirstvo, stiskanje, predpomnjenje | Arhitekturne spremembe, mehanizmi pozornosti, plasti spomina |
| Prilagodljivost | Linearno se prilagaja z optimizacijskim naporom | Kvadratno skaliranje v računu z naivno pozornostjo |
| Najboljši primer uporabe | Uvajanje v velikoserijsko produkcijo | Analiza dolgih dokumentov in večstranski pogovori |
| Trend v industriji | Naraščajoči poudarek na merilih učinkovitosti | Dirka proti milijonu žetonov in naprej |
| Zahteve strojne opreme | Manjši odtis pomnilnika | Zahteva pomnilnik z visoko pasovno širino in specializirane pospeševalnike |
Učinkovitost žetonov obravnava vsak žeton kot omejen vir, ki ga je vredno pametno porabiti, pri čemer se sprašuje, kako dobiti najbolj uporaben izhod iz najmanjšega možnega vložka. Razširitev kontekstnega okna zavzema nasprotno stališče in stavi, da bo dajanje modelom več manevrskega prostora sprostilo zmogljivosti, ki jih manjša okna preprosto ne morejo podpirati. Obe filozofiji imata svoje prednosti in večina produkcijskih sistemov umetne inteligence ima koristi od kombinacije obeh.
Razširjanje kontekstnih oken je drago. Ker se standardna pozornost transformatorja kvadratno skalira z dolžino zaporedja, podvojitev okna približno početveri potrebne računske stroške. Učinkovitost žetonov pa aktivno zmanjšuje število žetonov, ki tečejo skozi sistem, kar neposredno znižuje stroške sklepanja. Za podjetja, ki izvajajo milijone klicev API-ja na dan, je učinkovitost pogosto pomembnejša od surove zmogljivosti.
Večja okna ne pomenijo samodejno boljših odgovorov. Študije so večkrat pokazale, da modeli sredi zelo dolgih kontekstov izgubijo fokus, kar včasih imenujemo tudi izguba na sredini. Pristopi, učinkoviti z žetoni, se tej težavi izognejo tako, da pred modelom zberejo le najpomembnejše informacije, kar pogosto daje ostrejše rezultate kot razširitev konteksta z grobo silo.
Razširitev kontekstnega okna zahteva temeljito arhitekturno delo, vključno z redko pozornostjo, pozornostjo obroča ali pomnilniško razširjenimi plastmi za obdelavo dolgih zaporedij brez taljenja grafičnih procesorjev. Učinkovitost žetonov je dostopnejša in se opira na tehnike, kot so generiranje z razširjenim iskanjem, povzemanje promptov in semantično predpomnjenje, ki jih lahko kateri koli razvijalec implementira poleg obstoječih API-jev.
Industrija umetne inteligence hkrati sledi obema potema. Frontier Labs nenehno dviguje omejitve konteksta, hkrati pa se je pojavil vzporedni ekosistem orodij, osredotočenih na učinkovitost, kot so LangChainovi kompresorji konteksta in Microsoftove knjižnice z navodili, ki izkoriščajo vsak žeton. Najuspešnejše uvedbe običajno združujejo radodarno okno konteksta z agresivno optimizacijo žetonov.
Večje kontekstno okno vedno pomeni pametnejši model.
Velikost okna je omejitev zmogljivosti, ne pa metrika inteligence. Modeli z manjšimi, a dobro kuriranimi konteksti pogosto prekašajo tiste z ogromnimi okni, napolnjenimi z nepomembnimi informacijami. Kakovost pozornosti je pomembnejša od količine žetonov.
Učinkovitost žetonov je zgolj skrajšanje pozivov.
Prava učinkovitost žetonov vključuje iskanje, predpomnjenje, povzemanje in strukturirano pozivanje. Gre za disciplino na ravni sistema in ne za trik pisanja krajših navodil.
Podvojitev kontekstnega okna podvoji zmogljivost modela.
Mehanizmi pozornosti se z naraščanjem zaporedij poslabšajo, primerjalne meritve, kot so testi igle v senu, pa kažejo, da natančnost priklica močno pade po določenih dolžinah. Zmogljivost se ne spreminja linearno z velikostjo okna.
Razširitev konteksta naredi učinkovitost žetonov nepomembno.
Tudi modeli z okni z milijonom žetonov imajo koristi od tehnik učinkovitosti, saj se stroški in zakasnitev še vedno spreminjajo glede na število žetonov. Učinkovitost ostaja dragocena ne glede na to, kako veliko postane okno.
Učinkovitost žetonov žrtvuje natančnost za hitrost.
Ko je dobro izvedena, učinkovitost žetonov izboljša natančnost s filtriranjem šuma in prikazom le ustreznih informacij. Cilj ni le hitrost, temveč boljše razmerje signal/šum v vsakem pozivu.
Izberite učinkovitost žetonov, kadar so stroški, zakasnitev in zanesljivost najpomembnejši, zlasti v produkcijskih sistemih, ki obdelujejo veliko količino zahtev. Izberite razširitev kontekstnega okna, kadar vaša naloga resnično zahteva obdelavo velikih dokumentov, dolgih pogovorov ali celotnih kodnih baz v enem samem prehodu. V praksi je najpametnejši pristop uporaba obeh: velikega okna kot varnostne mreže in tehnik učinkovitosti kot vsakodnevnega dejavnika.
A/B testiranje pri izdajah vsebin vključuje uvajanje različic za različne segmente občinstva in merjenje uspešnosti, medtem ko enkratne izdaje vsebin hkrati vsem ponudijo eno različico. Vsak pristop ustreza različnim ciljem, pri čemer A/B testiranje daje prednost optimizaciji, ki temelji na podatkih, enkratne izdaje pa dajejo prednost hitrosti in preprostosti.
A/B testiranje pri streženju modelov usmerja promet med konkurenčnimi različicami modelov za merjenje učinkovitosti v resničnem svetu, medtem ko uvedba enega modela vsem uporabnikom dostavi en model. Ekipe izbirajo med njimi glede na toleranco tveganja, količino prometa in potrebo po statistični potrditvi pred popolno uvedbo.
Agenti umetne inteligence so avtonomni, ciljno usmerjeni sistemi, ki lahko načrtujejo, sklepajo in izvajajo naloge v različnih orodjih, medtem ko tradicionalne spletne aplikacije sledijo fiksnim delovnim procesom, ki jih vodijo uporabniki. Primerjava poudarja premik od statičnih vmesnikov k prilagodljivim, kontekstualno ozaveščenim sistemom, ki lahko proaktivno pomagajo uporabnikom, avtomatizirajo odločitve in dinamično komunicirajo med več storitvami.
Ta arhitekturna primerjava primerja deterministično inženirstvo agentov, ki temeljijo na pravilih, s prilagodljivo naravo učnih agentov, ki temeljijo na podatkih, ter ocenjuje njihovo uporabnost v resničnem svetu, omejitve skaliranja in delovanje v negotovosti.
Agentni sistemi umetne inteligence lahko načrtujejo, izvajajo večstopenjske naloge in avtonomno komunicirajo z zunanjimi orodji, medtem ko tradicionalni klepetalni roboti LLM primarno ustvarjajo besedilne odgovore v enem samem pogovornem koraku. Ključna razlika je v agenciji: agentni sistemi delujejo na podlagi ciljev, medtem ko klepetalni roboti reagirajo na pozive.
