Optimizacija zakasnitve priporočil se osredotoča na zmanjšanje časa med uporabniškim dejanjem in odzivom sistema v mehanizmih za priporočila, medtem ko optimizacija kompleksnosti modela cilja na zmanjšanje računskega odtisa in števila parametrov modelov strojnega učenja, ne da bi pri tem žrtvovala napovedno natančnost.
Tehnike za zmanjšanje odzivnega časa od začetka do konca v sistemih za priporočila v realnem času, ki strežejo uporabniške zahteve.
Metode za poenostavitev modelov strojnega učenja za hitrejše sklepanje, manjšo porabo pomnilnika in nižje stroške učenja.
| Funkcija | Optimizacija zakasnitve priporočil | Optimizacija kompleksnosti modela |
|---|---|---|
| Primarni cilj | Zmanjšajte odzivni čas, ki ga zazna uporabnik | Zmanjšajte velikost modela in računske zahteve |
| Faza optimizacije | Cevovod za strežbo in sklepanje | Usposabljanje in arhitektura modela |
| Tipične tehnike | Predpomnjenje, ANN, uvajanje na robu omrežja, uravnoteženje obremenitve | Destilacija, kvantizacija, obrezovanje, NAS |
| Osredotočenost na meritve | Zakasnitev, prepustnost (QPS) P50/P99 | FLOP-i, število parametrov, pomnilniški odtis |
| Vpliv na uporabnike | Takojšnja zaznana odzivnost | Dolgoročna skalabilnost in stroškovna učinkovitost |
| Upoštevanje kompromisov | Lahko žrtvuje svežino rezultatov za hitrost | Lahko žrtvuje mejno natančnost zaradi učinkovitosti |
| Obseg infrastrukture | Porazdeljeni sistemi, mreženje, strežniška plast | Zasnova modela, optimizacija prevajalnika, strojna oprema |
| Uporaba v industriji | Viri v realnem času, prikazovanje oglasov, uvrstitev v iskalnikih | Mobilna umetna inteligenca, internet stvari, sklepanje v velikem obsegu |
Optimizacija zakasnitve priporočil se osredotoča na celoten cevovod, ki uporabnikom dostavlja predloge, od prejema poizvedb prek iskanja značilnosti do končne razvrstitve. Inženirji, ki delajo tukaj, model obravnavajo kot eno komponento znotraj širšega sistema. Optimizacija kompleksnosti modela pa se poglobi v sam model in sprašuje, ali vsak parameter in operacija prinašata svojo težo. Obseg je tukaj arhitekturni in včasih vključuje mesece raziskav, da bi našli vitkejše ekvivalente obstoječih pristopov.
Izboljšave zakasnitve pogosto izhajajo iz pametnega inženiringa in ne iz algoritmičnih prebojev, kot je predračunavanje vdelave priljubljenih elementov ali usmerjanje zahtev v najbližji podatkovni center. Optimizacija kompleksnosti pa zahteva poglobljeno strokovno znanje s področja strojnega učenja: odločanje o tem, katere plasti obrezati, kako agresivno kvantizirati ali oblikovanje novih arhitektur iz nič. Oboje lahko prinese dramatične pospešitve, vendar se nabori znanj in orodij precej razlikujejo.
Prenizka zakasnitev lahko povzroči zastarela priporočila, če se predpomnilniki prekomerno uporabljajo, kar ustvari frustrirajočo uporabniško izkušnjo, ko se trendi spremenijo. Pretirano zmanjševanje kompleksnosti tvega, da se zmogljivost modela zruši, kar vodi v premajhno prilagajanje in poslabšano personalizacijo. Iskanje pravega ravnovesja zahteva strogo A/B testiranje in spremljanje poslovnih meritev skupaj s tehničnimi.
Optimizacija zakasnitve pogosto vključuje pogajanja z omejitvami strojne opreme, izbiro čipov za sklepanje ali izkoriščanje strategij paketnega obdelave z grafičnimi procesorji (GPU). Optimizacija kompleksnosti neposredno vpliva na to, katera strojna oprema je sploh izvedljiva, močno stisnjen model pa lahko deluje na pametnem telefonu ali napravi na robu sistema, kjer polna različica nikoli ne bi mogla. Te odločitve se prepletajo v strategijo izdelka in določajo, ali se funkcija zažene na mobilni napravi ali ostane vezana na strežnik.
Organizacije pogosto zaposlujejo optimizacijo zakasnitve znotraj platformskih ali infrastrukturnih inženirskih ekip, ki so lastniki strežniškega sklada. Delo na področju kompleksnosti modelov se običajno izvaja bližje raziskovalnim ali uporabnim ekipam za strojno učenje, čeprav je sodelovanje s proizvodnimi inženirji bistveno za potrditev koristi v resničnem svetu. Neusklajenost med temi skupinami lahko privede do čudovito optimiziranih modelov, ki pa se uporabnikom zaradi ozkih grl v predzvodni fazi še vedno zdijo počasni.
Hitrejši model vedno pomeni nižjo zakasnitev za končne uporabnike.
Čas sklepanja modela je le en del sestavljanke. Omrežna obremenitev, poizvedbe v podatkovni bazi in serializacija lahko prevladujejo nad skupno zakasnitvijo. Lažji model, ki se uporablja prek počasne povezave, se lahko zdi počasnejši od težjega modela z agresivnim predpomnjenjem.
Optimizacija kompleksnosti modela je pomembna samo za mobilne aplikacije.
Čeprav je uvajanje mobilnih naprav pomemben dejavnik, imajo ponudniki storitev v oblaku ogromne koristi od zmanjšanja kompleksnosti. Dnevno zagotavljanje milijard napovedi pomeni, da se že majhni prihranki na poizvedbo pretvorijo v ogromno zmanjšanje stroškov in izboljšanje ogljičnega odtisa.
Izbrati morate med zakasnitvijo in kakovostjo modela.
Ta okvir je preveč poenostavljen. Tehnike, kot je destilacija, so posebej namenjene ohranjanju kakovosti ob hkratnem izboljšanju hitrosti. Poleg tega se metrike angažiranosti uporabnikov včasih izboljšajo pri hitrejših sistemih, tudi če je osnovni model nekoliko manj natančen, ker odzivnost sama po sebi spodbuja uporabo.
Predpomnjenje omogoča enostavno optimizacijo sistemov priporočil.
Učinkovito shranjevanje v predpomnilnik v sistemih priporočil je zaradi personalizacije zelo težavno. Zadetek v predpomnilniku za enega uporabnika je za drugega zgrešen, vedenje uporabnikov pa se hitro spreminja. Za ohranjanje ažurnosti predpomnilnikov brez povečanja stroškov shranjevanja so potrebne dovršene shrambe funkcij in posodobitve v realnem času.
Kvantizacija vedno znatno poslabša delovanje modela.
Sodobne tehnike učenja, ki upoštevajo kvantizacijo, pogosto ohranijo skoraj vso natančnost modela, hkrati pa zagotavljajo znatne pospešitve. Pri številnih priporočilih in nalogah računalniškega vida se je razlika med modeli s polno natančnostjo in kvantiziranimi modeli zmanjšala do te mere, da je v produkciji zanemarljiva.
Optimizacija zakasnitve je zgolj inženirska zadeva, brez strojnega učenja.
Meja je vse bolj zabrisana. Učenje razvrščanja z omejitvami latence, iskanje nevronske arhitekture, usmerjeno na specifične proračune latence, in naučene indeksne strukture vgrajujejo strojno učenje neposredno v proces optimizacije.
Izberite optimizacijo zakasnitve priporočil, kadar vaši uporabniki zahtevajo takojšnje povratne informacije in je predpomnjenje, mreženje ali strežba na infrastrukturni plasti očitno ozko grlo. Dajte prednost optimizaciji kompleksnosti modela, kadar so stroški uvajanja nevzdržni, kadar so ciljne naprave omejene ali kadar morate stroškovno učinkovito prilagoditi strežbo modela milijonom uporabnikov. V praksi zreli sistemi hkrati sledijo obema.
Ta primerjava med službama Amazon Web Services in Google Cloud analizira njune ponudbe storitev, cenovne modele, globalno infrastrukturo, zmogljivost, izkušnje razvijalcev ter idealne primere uporabe, kar organizacijam pomaga izbrati oblačno platformo, ki najbolje ustreza njihovim tehničnim in poslovnim zahtevam.
Čakalne vrste mrtvih sporočil in ponovni poskusi v pomnilniku predstavljajo dva bistveno različna pristopa k obravnavanju napak pri obdelavi sporočil v porazdeljenih sistemih, pri čemer čakalne vrste mrtvih sporočil zagotavljajo trajno izolacijo problematičnih sporočil, medtem ko ponovni poskusi v pomnilniku ponujajo lahkotno obnovitev z nizko zakasnitvijo brez dodatnih stroškov vztrajnosti.
Deduplikacija na ravni zahtev obdela vsako dohodno zahtevo posebej, da v realnem času odstrani podvojene podatke, medtem ko deduplikacija na ravni paketov združuje več zahtev in po kopičenju odstrani redundance. Oba pristopa zmanjšata redundanco podatkov, vendar se bistveno razlikujeta po zakasnitvi, porabi virov in idealnih primerih uporabe.
Deljenje podatkov po uporabniškem ID-ju distribuira zapise na podlagi edinstvenih uporabniških identifikatorjev za predvidljive vzorce dostopa, medtem ko deljenje podatkov po geografski lokaciji razdeli podatke po regijah, da se zmanjša zakasnitev in zagotovi skladnost z zakoni o suverenosti podatkov. Obe strategiji rešujeta izzive obsega, vendar optimizirata za bistveno različne prioritete.
Dinamično usmerjanje prometa prilagaja poti zahtev v realnem času glede na stanje strežnika, zakasnitev in obremenitev, medtem ko fiksno usmerjanje zahtev pošlje vsako zahtevo na vnaprej določen cilj ne glede na spreminjajoče se pogoje. Oba pristopa se močno razlikujeta po odpornosti, skalabilnosti in operativni kompleksnosti za sodobne sisteme v oblaku.
