Skaleeritavad järeldussüsteemid käitavad tehisintellekti mudeleid hajutatud pilveinfrastruktuuril, mis kasvab vastavalt nõudlusele, samas kui lokaliseeritud järeldussüsteemid töötlevad andmeid lähedalasuval või seadmesisesel riistvaral, et saavutada madalam latentsusaeg ja suurem kontroll. Nende vahel valik sõltub töökoormuse suurusest, privaatsusvajadustest ja reaalajas jõudlusnõuetest.
Pilvepõhised tehisintellekti järeldusplatvormid, mis laiendavad dünaamiliselt arvutusressursse, et tulla toime hajutatud serverite kõikuva töökoormusega.
Tehisintellekti järelduste seadistused, mis käitavad mudeleid kohalikes serverites, servaseadmetes või kasutajariistvaras andmete päritolukoha lähedal.
| Funktsioon | Skaleeritavad järeldussüsteemid | Lokaliseeritud järeldussüsteemid |
|---|---|---|
| Paigutuse asukoht | Kauged andmekeskused ja pilvepiirkonnad | Kohapealsed serverid, servaseadmed või kasutajariistvara |
| Skaleeritavus | Praktiliselt piiramatu elastse arvutuse kaudu | Piiratud kohaliku riistvara mahutavusega |
| Latentsusaeg | Võrgu läbimise tõttu pikem, tavaliselt 100–500 ms | Väiksemate mudelite puhul on aeg madalam, sageli alla 50 ms |
| Mudeli suuruse tugi | Saab käivitada mudeleid sadade miljardite parameetritega | Üldiselt piiratud mudelitega, mille parameetrid on tarbijariistvaras alla ~70B |
| Privaatsus ja andmekontroll | Andmed lahkuvad kasutaja võrgust ja neid töötlevad kolmandad osapooled. | Andmed jäävad kohalikule riistvarale ja neil on täielik kasutaja kontroll. |
| Kulude struktuur | Kasutuspõhine või tellimuspõhine, skaleerub vastavalt nõudlusele | Esialgne riistvarainvesteering, seejärel peaaegu nullilähedane piirkulu |
| Internetisõltuvus | Nõuab stabiilset ja suure ribalaiusega ühendust | Töötab võrguühenduseta pärast mudelite allalaadimist |
| Hooldus | Pakkuja tegeleb värskenduste, turvapaikade ja skaleerimisega | Kasutaja vastutab värskenduste, draiverite ja riistvara hoolduse eest |
Skaleeritavad järeldussüsteemid toovad kaasa võrgu edasi-tagasi reise, mis lisavad latentsusaega, jäädes sageli vahemikku 100–500 millisekundit, olenevalt geograafilisest asukohast ja koormusest. Lokaliseeritud süsteemid jätavad selle võrguhüppe täielikult vahele, mis on tohutult oluline reaalajas rakenduste, näiteks häälassistentide või robootika jaoks. Skaleeritavad süsteemid suudavad aga teenindada palju suuremaid mudeleid, mis lihtsalt ei mahu ühte seadmesse, seega on latentsusaja võrdlused mõttekad ainult siis, kui mudeli suurus hoitakse konstantsena.
Pilvepõhine järelduste tegemine järgib tegevuskulude mudelit, kus maksate tokeni, päringu või GPU-tunni eest. See toimib hästi ettearvamatute töökoormuste korral, kuna kulud skaleeruvad koos tuludega. Lokaliseeritud järelduste tegemine nõuab GPU-de või servariistvara jaoks eelnevaid kapitalikulusid, kuid iga täiendava järelduse piirkulu on sisuliselt elekter. Suuremahuliste ja stabiilsete töökoormuste korral võidab kohalik juurutamine sageli järelduse hinna osas pärast tasuvuspunkti saavutamist.
Kui andmed lahkuvad kasutaja seadmest või ettevõtte võrgust, sisenevad need kellegi teise infrastruktuuri, mis tekitab regulatiivseid probleeme GDPR-i, HIPAA ja sarnaste raamistike alusel. Lokaliseeritud järeldussüsteem hoiab kõik kohapeal, muutes selle tervishoiu-, õigus- ja kaitserakenduste vaikevalikuks. Skaleeritavad pakkujad lahendavad selle privaatsete VPC-de, kliendi hallatavate võtmete ja andmete asukoha garantiidega, kuid usalduse eeldus jääb alles.
Skaleeritavad süsteemid säravad siis, kui liiklus kasvab ettearvamatult, näiteks jaemüügisaidil musta reede ajal või vestlusroboti turuletoomisel, mis levib viiruslikult. Automaatse skaleerimise rühmad saavad minutitega käivitada sadu GPU eksemplare. Lokaliseeritud süsteemid saavutavad füüsilise riistvaraga seotud ranged piirmäärad ja mahutavuse suurendamine tähendab uute masinate ostmist ja paigutamist. Purskeliste töökoormuste korral on pilveelastsust kohapeal tõeliselt raske korrata.
Suurimad ja võimekamad mudelid, sealhulgas GPT-4 klassi süsteemid ja avatud raskusastmega piiripealsed mudelid nagu Llama 3.1 405B, vajavad mitme GPU-ga klastreid, mida suudab pakkuda ainult skaleeritav infrastruktuur. Lokaliseeritud süsteemid käitavad tavaliselt väiksemaid mudeleid parameetrite vahemikus 7B kuni 70B, sageli kvantiseerituna 4-bitise täpsusega. Võimekuse lõhe on reaalne, kuid väheneb tõhusate arhitektuuride ja paremate kvantimistehnikate tekkimisel.
Kohalik järeldamine on alati odavam kui pilvepõhine järeldamine.
Kohalik järeldamine muutub odavamaks alles pärast seda, kui ületate kasutusläve, mis õigustab riistvara ostmist. Madala või äkilise liikluse korral on pilvepõhine kasutuspõhine maksmine sageli odavam kui suurema osa ajast jõude seisvate graafikakaartide ostmine.
Pilvepõhine järeldamine on oma olemuselt ebaturvaline.
Suured pilveteenuse pakkujad pakuvad krüpteerimist nii passiivses kui ka edastatavas olekus, privaatvõrke, kliendi hallatavaid krüpteerimisvõtmeid ja vastavussertifikaate. Riskiprofiil sõltub pakkuja kontrollidest ja teie konfiguratsioonist, mitte pilvest endast.
Kohalikud mudelid on liiga väikesed, et tõsiseks tööks kasulikud olla.
Ühel tipptasemel GPU-l töötavad kvantiseeritud 70B parameetriga mudelid on nüüd paljudel võrdlusalustel võrdsed vanemate piirimudelitega või isegi paremad. Paljude ettevõtteülesannete jaoks on hästi häälestatud lokaalne mudel enam kui võimeline.
Skaleeritaval järeldusel on alati suurem latentsus kui lokaalsel järeldusel.
Kui kohalik riistvara on ebapiisavalt varustatud või mudel on saadaoleva mälu jaoks liiga suur, võib järelduste tegemine aeglustuda ja muutuda ebastabiilseks. Hästi varustatud ja piirkondliku kohalolekuga pilvepõhine lõpp-punkt suudab toimida paremini kui alamõõduline kohalik seadistus.
Sa pead igaveseks valima ühe lähenemisviisi.
Hübriidsed järeldamismustrid on üha tavalisemad, kus marsruutimisloogika saadab lihtsad päringud kohalikele mudelitele ja keerulised pilve API-dele. See tasakaalustab dünaamiliselt kulu, latentsust ja võimekust.
Valige skaleeritav järeldusmeetod, kui vajate tippmudeli kvaliteeti, ettearvamatut skaleerimist või kiiret turule jõudmise aega ilma riistvara hankimiseta. Valige lokaliseeritud järeldusmeetod, kui privaatsus on vältimatu, latentsusaja eelarved on piiratud või pidev suur liiklusmaht muudab kohapealse majandusliku kasu soodsaks. Paljud tootmissüsteemid ühendavad nüüd mõlemat, suunates lihtsad päringud lokaalselt ja eskaleerides keerulised pilve.
Adaptiivne infrastruktuur kohandub dünaamiliselt muutuvate töökoormustega automatiseerimise ja reaalajas skaleerimise abil, samas kui staatiline infrastruktuuri disain tugineb fikseeritud, eelkonfigureeritud ressurssidele. Nende vahel valik sõltub töökoormuse varieeruvusest, eelarve prognoositavusest ja teie pilvekeskkonna tegevusküpsusest.
Andmeedastuse kitsaskohad aeglustavad masinõppe protsesse, piirates teabe liikumiskiirust salvestus-, mälu- ja arvutusressursside vahel, samas kui mudelarvutuse kitsaskohad tekivad siis, kui piiravaks teguriks saab graafikaprotsessori või protsessori töötlemisvõimsus. Erinevuse mõistmine aitab meeskondadel optimeerida taristukulusid ja koolituse tõhusust.
Andmeinfrastruktuuri kiht tegeleb toorandmete torujuhtmete salvestamise, töötlemise ja haldamisega, samas kui mudelitreeningu kiht keskendub algoritmide käitamisele masinõppe mudelite treenimiseks. Mõlemad on tehisintellekti süsteemides olulised, kuid täidavad arendustsüklis põhimõtteliselt erinevaid rolle.
Kasutaja ID alusel andmete killustamine jaotab kirjed unikaalsete kasutajaidentifikaatorite alusel prognoositavate juurdepääsumustrite jaoks, samas kui geograafilise asukoha killustamine jaotab andmed piirkondade kaupa, et minimeerida latentsust ja järgida andmete suveräänsuse seadusi. Mõlemad strateegiad lahendavad mastaabiprobleeme, kuid optimeerivad põhimõtteliselt erinevate prioriteetide jaoks.
Andmekanali optimeerimine keskendub toorandmete tõhusale liigutamisele ja teisendamisele analüüsi jaoks, samas kui mudelikanali optimeerimine lihtsustab masinõppemudelite koolitamist, valideerimist ja juurutamist. Mõlemad on skaleeritavate tehisintellekti süsteemide jaoks kriitilise tähtsusega, kuid on suunatud masinõppe elutsükli erinevatele etappidele.
