Rekomendavimo sistemų efektyvumas sutelktas į delsos, skaičiavimo sąnaudų ir išteklių naudojimo mažinimą, išlaikant priimtiną rekomendacijų kokybę. Grynas modelio tikslumo optimizavimas teikia pirmenybę nuspėjamiesiems našumo rodikliams, tokiems kaip AUC, NDCG ir atkūrimas, dažnai skaičiavimo išlaidų sąskaita. Pasirinkimas priklauso nuo to, ar jūsų diegimas vertina mastelio keitimą ir sąnaudas, ar neapdorotą reitingavimo kokybę.
Inžinerinis metodas, kuris optimizuoja delsą, pralaidumą, atmintį ir energijos suvartojimą visame rekomendacijų sraute.
Tyrimais pagrįstas metodas, kuris maksimaliai padidina tikslumo rodiklius neprisijungus ir prisijungus, nesirūpinant skaičiavimo sąnaudomis.
| Funkcija | Sistemos efektyvumas rekomendacijoje | Gryno modelio tikslumo optimizavimas |
|---|---|---|
| Pagrindinis tikslas | Sumažinkite delsą, išlaidas ir išteklių naudojimą | Maksimaliai padidinkite prognozavimo tikslumo metriką |
| Pagrindiniai rodikliai | P99 delsa, QPS, kaina už 1k užklausų, atminties naudojimas | AUC, NDCG@K, prisiminimas@K, logaritminis praradimas, MAP |
| Tipiniai metodai | Kvantavimas, dirbtinio neuroninio tinklo paieška, kaupimas talpykloje, dviejų bokštų modeliai, distiliavimas | Gilesni tinklai, kryžminės funkcijos, GNN, transformatoriai, ansambliavimas |
| Apskaičiuoti biudžetą | Apribotas ir optimizuotas | Dažnai nevaržomas arba dosnus |
| Diegimo dėmesys | Gamybos metu per dieną pateikiama milijardai užklausų | Tyrimo lyginamieji rodikliai ir vertinimas neprisijungus |
| Poveikis verslui | Tiesioginis išlaidų taupymas ir naudotojo patirtis dėl greičio | Geresnės rekomendacijos, jei pateikimas neviršija biudžeto |
| Per didelio pritaikymo rizika | Žemesnis, nes dažnai naudojami paprastesni modeliai | Didesnis, nes sudėtingi modeliai gali įsiminti modelius |
| Aparatinės įrangos jautrumas | Aukštas – pritaikytas konkretiems greitintuvams | Žemesnis – veikia visur, kur yra prieinami skaičiavimo pajėgumai |
Sistemos efektyvumo požiūriu rekomendacijų kokybė traktuojama kaip vienas iš daugelio kintamųjų, balansuojant ją su delsa, kaina ir patikimumu. Grynasis tikslumo optimizavimas kokybę laiko dominuojančiu kintamuoju ir daro prielaidą, kad skaičiavimo pajėgumus galima pritaikyti. Praktiškai šie du metodai yra priešinguose spektro galuose, ir dauguma gamybos komandų atsiduria kažkur per vidurį, šiek tiek sumažindamos tikslumą, kad gautų didelį efektyvumo padidėjimą.
Į efektyvumą orientuotos komandos renkasi architektūras, kurios atskiria kandidatų generavimą nuo reitingavimo, pavyzdžiui, dviejų bokštų modelius, kuriuose vartotojų ir elementų įterpimai yra iš anksto apskaičiuojami nepriklausomai. Į tikslumą orientuotos komandos dažnai renkasi skirtingų funkcijų sąveiką, dėmesio mechanizmus ir gilųjį stekinimą, kurie fiksuoja išsamesnius signalus, bet reikalauja bendrų skaičiavimų pateikimo metu. Architektūros pasirinkimas apima viską – nuo funkcijų saugyklų iki aptarnavimo infrastruktūros.
Kai prioritetas yra efektyvumas, sėkmė matuojama tokiais aptarnavimo rodikliais kaip uodegos delsa, pralaidumas vienam GPU ir bendros eksploatavimo išlaidos. Tikslumo principu pagrįstos komandos gyvuoja ir miršta pagal neprisijungus pasiekiamų lyderių sąrašų rezultatus ir internetinių A/B testų padidėjimą įsitraukimo ar pajamų srityje. Modelis, kuris laimi NDCG, bet viršija delsos biudžetą, yra nesėkmė efektyvumu pagrįstoje kultūroje, o modelis, kuris teikia paslaugas per 5 ms, bet užima prastas pozicijas, yra nesėkmė tikslumu pagrįstoje kultūroje.
Tokiose įmonėse kaip „Meta“, „Google“ ir „TikTok“ rekomendacijų sistemos apdoroja trilijonus užklausų, todėl net ir nedideli efektyvumo patobulinimai reiškia milijonus infrastruktūros sutaupymų. Akademinėje ir startuolių aplinkoje dažnai trūksta šių mastelio apribojimų, todėl jos gali dar labiau padidinti tikslumą, nesijaudindamos dėl pateikimo išlaidų. Dėl to paskelbtuose tikslumo lyginamuosiuose rodikliuose dažnai naudojami modeliai, kurie niekada neišlaikytų gamybinės peržiūros hiperskalintuve.
Efektyvumas laimi, kai pateikimo kaina dominuoja biudžete, kai vartotojo suvokiamas delsos laikas tiesiogiai veikia įsitraukimą arba kai sistema turi būti pritaikoma prie didžiulių katalogų. Grynas tikslumas laimi, kai katalogas yra mažas, kai rekomendacijos yra iš anksto apskaičiuojamos neprisijungus arba kai verslo atvejis dėl ribinio kokybės padidėjimo pateisina skaičiavimo išlaidas. Hibridiniai metodai, tokie kaip kaskadinės rekomendacijos, kai pigus modelis filtruoja kandidatus, o tada brangus modelis juos iš naujo įvertina, yra vis dažnesni.
Tikslesnis modelis visada pagerins verslo rodiklius, kai bus įdiegtas.
Jei modelis prideda delsą arba pateikimo išlaidas, vartotojai gali nutraukti sesijas nematę rekomendacijų. Daugelis A/B testų parodė, kad šiek tiek mažiau tikslus, bet greitesnis modelis realaus įsitraukimo metrikose pranoksta lėtesnį, tikslesnį modelį.
Į efektyvumą orientuoti rekomendavimo įrankiai būtinai yra paprastesni ir mažiau galingi.
Šiuolaikinės efektyvios sistemos naudoja sudėtingus metodus, tokius kaip išmokti indeksai, kvantavimo suvokimas ir apytikslė artimiausio kaimyno paieška. Jos nėra paprastos – jos kruopščiai suprojektuotos taip, kad tiektų energiją neviršydamos riboto išteklių biudžeto.
Neprisijungus pasiekiamo tikslumo rodikliai patikimai prognozuoja našumą internete.
Tokie neprisijungus pasiekiami rodikliai kaip AUC ir NDCG koreliuoja su sėkme internete, bet toli gražu nėra tobuli. Modelis, kuris neprisijungus laimi 0,5 % NDCG, gali pralaimėti internete, jei prideda 20 ms delsą, todėl gamybos komandos didelį dėmesį skiria efektyvumui.
Reikia rinktis tarp tikslumo ir efektyvumo.
Šie du metodai nėra griežtai priešingi. Tokie metodai kaip žinių distiliavimas, genėjimas ir kvantavimas gali atkurti didžiąją dalį didelio modelio tikslumo daug mažesnėje pakuotėje, suteikdami jums abu.
Akademiniai kriterijai atspindi, kas veikia gamyboje.
Akademiniai rekomendacijų tyrimai daugiausia optimizuoja tikslumą statiniuose duomenų rinkiniuose, ignoruodami pateikimo apribojimus. Tokių įmonių kaip „Netflix“ ir „Meta“ gamybos sistemos labai skiriasi nuo paskelbtų etalonų.
Rinkitės sistemos efektyvumą, kai dirbate dideliu mastu ir aptarnavimo kaina ar delsa tiesiogiai veikia jūsų pelną, o tai yra daugelio didelių platformų realybė. Rinkitės gryną tikslumo optimizavimą, kai dirbate tyrimų srityje, turite nedidelį katalogą arba galite sau leisti didelius skaičiavimus ir jums reikia kiekvienos kokybės pagerinimo dalelės. Gamybos aplinkoje protingiausios komandos pirmiausia projektuoja efektyvumą, o tada tikslumo biudžetą skiria ten, kur to labiausiai reikia.
„Kafka“ ir „Flink“ sudaro paskirstytą srautinio apdorojimo ekosistemą realaus laiko duomenų srautams, o apdorojimas atmintyje pagreitina analizę, nes duomenys saugomi tik RAM atmintyje – kiekvienas iš jų tenkina iš esmės skirtingus architektūrinius greičio, mastelio ir tvarumo poreikius.
„Netflix“ vidinė mašininio mokymosi platforma siūlo glaudžiai integruotus, didelio masto įrankius, skirtus transliacijų suasmeninimui, o nepriklausomi mašininio mokymosi įrankiai suteikia mažesnėms komandoms lankstumo ir kontrolės. Pasirinkimas priklauso nuo masto, pritaikymo poreikių ir esamų investicijų į infrastruktūrą.
Adaptyvi infrastruktūra dinamiškai prisitaiko prie kintančių darbo krūvių, naudodama automatizavimą ir mastelio keitimą realiuoju laiku, o statinės infrastruktūros projektavimas remiasi fiksuotais, iš anksto sukonfigūruotais ištekliais. Pasirinkimas priklauso nuo darbo krūvio kintamumo, biudžeto nuspėjamumo ir veikimo brandos jūsų debesijos aplinkoje.
Apkrovos balansavimas mašininio mokymosi sistemose valdo GPU reikalaujančius išvadų ir mokymo darbo krūvius specializuotoje įrangoje, o paprastas API užklausų apdorojimas paskirsto nedidelį HTTP srautą bendrosios paskirties serveriuose. Jie labai skiriasi sudėtingumu, išteklių poreikiu ir maršruto parinkimo išmanumu.
Atsparumas gedimams proaktyviai perkelia darbo krūvius į sveikas sistemas, kol vartotojai nepastebi problemų, o sistemos gedimų atveju iš naujo paleidžiamos sistemos reaktyviai atkuria paslaugas po netikėtų gedimų. Abu metodai siekia palaikyti prieinamumą, tačiau iš esmės skiriasi laiku, architektūros sudėtingumu ir poveikiu vartotojams.
