Funkcijų saugyklų sistemos siūlo centralizuotą, pakartotinai naudojamą ir versijomis pagrįstą funkcijų valdymą mašininio mokymosi darbo eigoms, o ad hoc funkcijų inžinerija remiasi kiekvienam projektui sukurtais individualiais scenarijais. Pasirinkimas tarp jų lemia, kaip komandos keičia modelių mastą, bendradarbiauja ir diegia juos gamybinėje aplinkoje.
Centralizuotos platformos, kurios saugo, versijuoja ir teikia kuruojamas mašininio mokymosi modelių funkcijas skirtingose komandose ir projektuose.
Pasirinktinės, projektui būdingos funkcijos, kurias rankiniu būdu kuria duomenų mokslininkai, naudodami scenarijus, užrašų knygeles arba vienkartinius procesus.
| Funkcija | Funkcijų parduotuvių sistemos | Ad hoc funkcijų inžinerija |
|---|---|---|
| Funkcijų daugkartinis panaudojimas | Aukštas – bendras komandoms ir projektams | Žemas – paprastai susijęs su projektu |
| Mokymo ir paslaugų teikimo nuoseklumas | Integruota per vieningus vamzdynus | Vadovas, dažnai nenuoseklus |
| Sąrankos sudėtingumas | Didesnė pradinė sąranka ir infrastruktūra | Minimaliai – tik kodas ir duomenys |
| Mastelio keitimas | Sukurta gamybos mastui | Ribota komandos ir įrankių pajėgumų |
| Valdymas ir kilmė | Versijų kūrimas, prieigos kontrolė, audito takeliai | Paprastai nedokumentuotas arba neoficialus |
| Lankstumas eksperimentams | Vidutinis – platformos apribojimas | Labai aukštas – nėra platformos apribojimų |
| Laikas iki pirmojo modelio | Lėtesnis dėl sąrankos išlaidų | Greičiau vienkartiniams projektams |
| Priežiūros išlaidos | Mažesnis ilgalaikis mastelio keitimas | Didesnis, kai funkcijų skaičius auga |
Funkcijų saugyklų sistemos veikia kaip dedikuoti infrastruktūros sluoksniai, esantys tarp neapdorotų duomenų šaltinių ir mašininio mokymosi modelių. Jos tvarko duomenų įkėlimą, transformavimą, saugojimą ir teikimą per vieningą srautą. Tuo tarpu ad hoc funkcijų inžinerija vyksta ten, kur dirba duomenų mokslininkas, dažniausiai užrašų knygelėse arba atskiruose scenarijuose, kurie tiesiogiai renka duomenis, taiko transformacijas ir tiekia modelius. Architektūrinis skirtumas reiškia, kad funkcijų saugykloms reikia iš anksto investuoti į įrankius, o ad hoc metodai gali prasidėti tik nuo CSV failo ir šiek tiek „Pandas“ kodo.
Vienas didžiausių mašininio mokymosi problemų yra mokymo ir aptarnavimo iškraipymas, kai modelis gerai veikia kūrimo metu, bet prastėja gamyboje, nes funkcijos apskaičiuojamos skirtingai. Funkcijų saugyklos šią problemą išsprendžia naudodamos tą patį transformacijos kodą tiek paketinio mokymo duomenims, tiek realaus laiko išvadoms. Taikydamos ad hoc inžineriją, komandos dažnai rašo vieną logikos rinkinį mokymui, o kitą – aptarnavimui, todėl atsiranda subtilių klaidų, kurias, kaip žinoma, sunku derinti. Vien šis nuoseklumo pranašumas paskatino daugelį organizacijų diegti funkcijų saugyklas.
Kai funkcijos yra bendroje saugykloje, bet kuris duomenų mokslininkas gali jas atrasti ir pakartotinai panaudoti, o tai užkerta kelią nereikalingam darbui ir skatina standartizavimą. Nauji komandos nariai gali naršyti esamų funkcijų kataloge, užuot jas išradę iš naujo. Ad hoc inžinerija linkusi sukurti atskirus elementus, kai kiekvienas analitikas atskirai atkuria panašias funkcijas, kartais su šiek tiek skirtingais apibrėžimais, kurie sukelia painiavą tolesniame procese. Laikui bėgant, dėl šio susiskaidymo sunkiau išlaikyti nuoseklią funkcijų strategiją visoje organizacijoje.
Ad hoc funkcijų inžinerija sužiba ankstyvųjų eksperimentų metu, kai duomenų mokslininkams reikia greitai atlikti naujas transformacijas, nesijaudinant dėl diegimo. Naują funkciją galima išbandyti per kelias minutes. Funkcijų saugyklos padidina išlaidas, nes kiekviena funkcija turi būti užregistruota, patvirtinta ir integruota į aptarnaujančią infrastruktūrą, prieš ją naudojant gamyboje. Tačiau tos pačios išlaidos atsiperka, kai modeliai pereina į gamybą, nes funkcija jau yra paruošta gamybai, o ne reikalauja atskirų inžinerijos pastangų.
Funkcijų saugyklos valdymas apima infrastruktūros išlaidas saugojimui, skaičiavimui ir orkestravimui, taip pat inžinerines pastangas jai prižiūrėti. Mažoms komandoms ar pavieniams projektams tai gali atrodyti kaip perteklius. Ad hoc inžinerija beveik neturi infrastruktūros išlaidų, tačiau kaupia paslėptas išlaidas dėl pasikartojančio darbo, neatitikimų derinimo ir funkcijų perrašymo gamybai. Nusipelnymo taškas paprastai pasiekiamas, kai organizacija gamyboje turi kelis modelius arba keli duomenų mokslininkai dirba su persidengiančiomis problemomis.
Funkcijų saugyklos yra tik funkcijų duomenų bazės.
Funkcijų saugykla yra daug daugiau nei vien saugykla. Ji apima transformavimo srautus, internetinį ir neinternetinį teikimą, funkcijų atradimą, kilmės stebėjimą ir prieigos kontrolę. Laikant ją paprasta duomenų baze prarandama didžioji dalis jos vertės, ypač nuoseklumo garantijos tarp mokymo ir išvadų.
Ad hoc funkcijų inžinerija visiškai nėra pritaikoma mastelio keitimui.
Daugelis sėkmingų įmonių daugelį metų naudojosi ad hoc duomenų srautais, prieš pradėdamos naudoti funkcijų saugyklas. Šis metodas gana gerai pritaikomas mažoms komandoms ir keliems modeliams. Kai modelių ir duomenų mokslininkų skaičius gerokai išauga, sutrinka bendradarbiavimas, valdymas ir nuoseklumas.
Jums reikia pasirinkti vieną požiūrį visam laikui.
Dauguma brandžių mašininio mokymosi organizacijų naudoja abu. Duomenų mokslininkai ad hoc nagrinėja naujas idėjas užrašų knygelėse, o tada patvirtintas funkcijas įkelia į funkcijų saugyklą, skirtą naudoti gamyboje. Praktiškai geriausiai veikia traktuojant jas kaip vienas kitą papildančius, o ne konkuruojančius metodus.
Elementų saugyklos automatiškai pagerina modelio tikslumą.
Funkcijų saugyklos pagerina veikimo kokybę, nebūtinai modelio našumą. Jos sumažina klaidų skaičių, pagreitina diegimą ir užkerta kelią neatitikimams, tačiau pagrindinėms funkcijoms vis tiek reikia apgalvoto dizaino. Bloga saugyklos funkcija vis tiek yra bloga funkcija.
Atvirojo kodo funkcijų saugyklos yra iš karto paruoštos gamybai.
Tokios priemonės kaip „Feast“ ir „Hopsworks“ suteikia tvirtą pagrindą, tačiau diegimas gamybinėje aplinkoje vis dar reikalauja didelių inžinerinių darbų, susijusių su stebėjimu, mastelio keitimu, saugumu ir integravimu su esama duomenų infrastruktūra. Parengtis įvairiuose projektuose labai skiriasi.
Funkcijų saugyklų sistemos yra geresnis pasirinkimas organizacijoms, kurios gamyboje naudoja kelis modelius arba plečia savo mašininio mokymosi operacijas tarp komandų, kur svarbiausia yra nuoseklumas ir pakartotinis panaudojimas. Ad hoc funkcijų inžinerija išlieka vertinga individualiems duomenų mokslininkams, tyrimų projektams ir ankstyvojo etapo eksperimentams, kai greitis ir lankstumas nusveria centralizuotos infrastruktūros privalumus. Daugelis brandžių komandų iš tikrųjų naudoja abu, pasikliaudamos ad hoc darbu tyrimams ir funkcijų saugyklomis viskam, kas pasiekia gamybinę aplinką.
„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.
„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.
„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.
„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.
A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.
