A modellskálázási törvények és az architektúra-innováció két egymással versengő filozófiát képviselnek a mesterséges intelligencia képességeinek fejlesztése terén. A skálázási törvények szerint a nagyobb, több adaton betanított modellek kiszámítható eredményeket hoznak, míg az architektúra-innováció az intelligensebb tervekre összpontosít, amelyek kevesebb számítási kapacitással többet érnek el.
Empirikus alapelvek, amelyek bemutatják, hogyan javul előre láthatóan a mesterséges intelligencia modell teljesítménye több paraméter, adat és számítási kapacitás felhasználásával.
Újszerű neurális hálózati tervek, amelyek a nyers skálázáson kívül másra is képesek javítani a mesterséges intelligencia hatékonyságát és képességeit.
| Funkció | Modellskálázási törvények | Építészeti innováció |
|---|---|---|
| Alapfilozófia | Nagyobb modellek + több adat = jobb teljesítmény | Az okosabb tervek többet érnek el kevesebb számítási munkával |
| Elsődleges költségtényező | Számítástechnika és energiafelhasználás a képzéshez | Kutatási tehetség és tervezési iteráció |
| A nyereség kiszámíthatósága | A hatványfüggvények révén rendkívül kiszámítható | Kiszámíthatatlan; az áttörések szórványosak |
| Fő támogatók | OpenAI, antropikus, skálázási hipotézis támogatói | DeepMind, akadémiai kutatók, hatékonyságra összpontosító laboratóriumok |
| Számítási követelmények | Hatalmas és exponenciálisan növekvő | Gyakran alacsonyabb; szerény hardveren is futtatható |
| Teljesítményplafon | rendelkezésre álló számítási és adatmennyiség által korlátozott | Az emberi tervezési találékonyság által korlátozva |
| Eredmények elérésének időhorizontja | Kiszámítható, de lassú (hónapokig tartó képzés) | Változó; gyorsan áttörést hozhat |
| Reprezentatív példák | GPT-4, Claude 3, Gemini Ultra | Mamba, MoE modellek, Flash Attention, RAG rendszerek |
A modellskálázási törvények egy egyszerű, de erőteljes gondolaton alapulnak: az intelligencia a skálázásból fakad. Kaplan 2020-as tanulmányának és Chinchilla 2022-es finomításának empirikus bizonyítékai azt mutatják, hogy a teljesítményjavulás kiszámítható matematikai összefüggéseket követ. Az architektúra innovációja az ellenkező álláspontot képviseli, azzal érvelve, hogy az okos mérnöki munka több képességet tud kinyerni a meglévő számítási kapacitásból. Mindkét tábor egyetért abban, hogy a skálázás működik; abban nem értenek egyet, hogy ez-e az egyetlen járható út.
határterületi modellek betanítása ma már csak számítási költségekben több tízmillió dollárba kerül, a GPT-4 osztályú rendszerek állítólag meghaladják a 100 millió dollárt. Az architektúra innovációja alapvetően eltérő gazdaságosságot kínál: egy jól megtervezett modell a betanítási költségek töredékéért felveheti a versenyt a nagyobb versenytársakkal, vagy akár legyőzheti is őket. Ez különösen vonzóvá teszi az architektúra innovációját az akadémiai laboratóriumok, startupok és hiperskálázó költségvetéssel nem rendelkező szervezetek számára.
A skálázási törvények valami ritka dolgot kínálnak a mesterséges intelligencia kutatásában: a kiszámíthatóságot. Ha megduplázzuk a számítási teljesítményt, akkor nagyjából tudjuk, milyen javulásra számíthatunk. Az architektúra innovációja eleve kockázatosabb, mivel az áttörések inkább a betekintésen, mint a számtanon múlnak. Amikor azonban architektúra áttörések történnek, éveknyi fokozatos skálázási előnyt ugorhatnak át. Maga a Transformer is ilyen ugrás volt, egyik napról a másikra elavulttá téve az RNN skálázási munkájának éveit.
Az iparág egyre inkább felismeri, hogy a tiszta skálázhatóságnak megvannak a korlátai. Még az OpenAI vezetősége is nyilvánosan beszélt az adatok elérhetőségével és a számítástechnikai gazdaságossággal kapcsolatos akadályokról. Eközben az architektúra innovációja felgyorsul: a szakértők keverékén alapuló modellek, mint a Mixtral, a hatékony figyelemváltozatok és az állapottér-modellek egyre nagyobb teret hódítanak. A legtöbb határterületi laboratórium ma már mindkét stratégiát egyszerre alkalmazza, kiegészítőként, nem pedig versengőként kezelve őket.
Előretekintve, önmagában egyik megközelítés sem fogja valószínűleg emberi szintű képességekkel felruházni a mesterséges intelligenciát. A skálázási törvények azt sugallják, hogy továbbra is növelni fogjuk a modell méretét, de a csökkenő megtérülés és az erőforrások korlátozottsága miatt nagyobb mértékben támaszkodni fogunk az architekturális ötletességre. A legígéretesebb előrelépési út mindkettőt ötvözi: a skálázási törvények használatát az optimális modellméret meghatározásához, miközben architekturális innovációkat alkalmaz a paraméterenkénti képességek maximalizálása érdekében. Ez a hibrid megközelítés határozza meg a mesterséges intelligencia kutatásának jelenlegi határait.
A skálázási törvények azt jelentik, hogy a nagyobb modellek mindig jobbak.
A Chinchilla bemutatta, hogy a modell méretének és a betanítási adatoknak együtt kell skálázódniuk. Egy elégtelen adatmennyiséggel betanított 70B modell alulteljesít egy megfelelő adatmennyiséggel betanított kisebb modellnél. A kapcsolat az egyensúlyról szól, nem csak a méretről.
Az architektúra innovációja csupán egy módja annak, hogy elkerüljük a számítástechnikai kiadásokat.
Az architekturális áttörések gyakran teljesen új képességeket tesznek lehetővé, amelyeket a skálázás önmagában nem tudna elérni. A Transformer nemcsak olcsóbbá tette a modelleket, hanem lehetővé tette a hosszabb kontextusok feldolgozását és a párhuzamos betanítást is, amelyeket az RNN-ek alapvetően nem tudtak támogatni.
skálázási törvények a végtelenségig érvényben maradnak, amíg el nem érjük az AGI-t.
A kutatók a határterületeken csökkenő megtérülést dokumentáltak. A számítási kapacitás minden megduplázódása kisebb teljesítménynövekedést eredményez, mint a korábbi megduplázódások. Az adatminőség és -elérhetőség is olyan kemény korlátokká válik, amelyeket a puszta skálázás nem tud leküzdeni.
Ez a két megközelítés kizárja egymást.
A modern határmodellek mindkettőt használják. A GPT-4 valószínűleg építészeti újításokat is magában foglal a hatalmas méretek mellett. A vita valójában a hangsúlyokról és az erőforrás-elosztásról szól, nem pedig a vagy-vagy választásról.
Az építészeti innováció mindig felülmúlja a skálázást.
Egy okos architektúra, amely nem rendelkezik elegendő paraméterrel vagy adattal, stagnálni fog. Az architektúra innovációja általában akkor működik a legjobban, ha megfelelő skálázással kombinálják. A legsikeresebb rendszerek mindkét dimenziót egyszerre optimalizálják.
Válassza a modellskálázási törvényeket, ha hatalmas számítási költségvetéssel rendelkezik, és kiszámítható, fokozatos fejlesztésekre van szüksége a már meglévő architektúrákon. Válassza az architektúra innovációját, ha korlátozottak az erőforrások, ha hatékonyságra van szüksége a következtetési időpontban, vagy ha olyan képességekre törekszik, amelyeket a puszta skálázás nem tud biztosítani. A gyakorlatban a mai legsikeresebb mesterséges intelligenciarendszerek mindkét filozófiát ötvözik, ahelyett, hogy kizárólag az egyikre köteleznék el magukat.
késleltetésre fókuszált kiszolgálás és a tiszta pontosságoptimalizálás két egymással versengő filozófiát képvisel a mesterséges intelligencia telepítésében. A késleltetésre összpontosító kiszolgálás a sebességet és a felhasználói élményt helyezi előtérbe, míg a tiszta pontosságoptimalizálás a lehető legmagasabb modellteljesítményt célozza meg, függetlenül a következtetési időtől. A kettő közötti választás meghatározza, hogyan viselkednek a mesterséges intelligencia rendszerek éles környezetben.
Az A/B tesztelés a modellkiszolgáló rendszerben a versengő modellverziók közötti forgalmat irányítja át a valós teljesítmény mérése érdekében, míg az egyetlen modell telepítése egyetlen modellt küld minden felhasználónak. A csapatok a kockázattűrés, a forgalom mennyisége és a teljes bevezetés előtti statisztikai validáció szükségessége alapján választanak közöttük.
Az A/B tesztelés a tartalomkiadásokban magában foglalja a variációk különböző közönségszegmensek számára történő bevezetését és a teljesítmény mérését, míg az egyszeri tartalomkiadások egyetlen verziót juttatnak el egyszerre mindenkihez. Minden megközelítés más célokat szolgál, az A/B tesztelés az adatvezérelt optimalizálást, míg az egyszeri kiadások a sebességet és az egyszerűséget helyezik előtérbe.
Ez a részletes összehasonlítás az adaptív intelligenciamotorok architektúrális különbségeit, működési korlátait és valós teljesítményét vizsgálja a fix viselkedésű automatizálási rendszerekkel szemben. Megvizsgáljuk, hogy az új környezeti adatokból folyamatosan tanuló rendszerek hogyan viszonyulnak a merev, kiszámítható, szabályokon alapuló keretrendszerekhez.
Az adaptív lekérések dinamikusan igazítják a rendszer által lekérdezett információk módját és típusát, míg a statikus lekérési folyamatok rögzített szabályokat követnek, a kontextustól függetlenül. Mindkettő modern mesterséges intelligencia alkalmazásokat működtet, de rugalmasságukban, költségükben és pontosságukban élesen különböznek. A választás a köztük lévő feladatok összetettségétől és a költségvetéstől függ.
