Retų ir tankių požymių naudojimas yra du iš esmės skirtingi duomenų vaizdavimo mašininio mokymosi modeliuose būdai. Reti požymiai remiasi daugiamačiais vektoriais, kurių dauguma reikšmių yra lygios nuliui, o tankūs požymiai suspaudžia informaciją į kompaktiškus, mažesnio matmens vaizdus. Pasirinkimas tarp jų lemia modelio našumą, interpretuojamumą ir skaičiavimo efektyvumą.
Vaizdavimo strategija, naudojanti daugiamačius vektorius, kuriuose dauguma įrašų yra lygūs nuliui, įprasta tekste ir kategoriniuose duomenyse.
Kompaktiškas vaizdavimas, kai dauguma reikšmių nėra lygios nuliui, paprastai išmokstamas įterpiant duomenis arba naudojant neuroninių tinklų sluoksnius.
| Funkcija | Retas funkcijų naudojimas | Tankus funkcijų naudojimas |
|---|---|---|
| Tipinis matmuo | Nuo tūkstančių iki milijonų matmenų | Dešimtys iki šimtų matmenų |
| Ne nulinių reikšmių dalis | Paprastai mažiau nei 1% | Beveik 100 % reikšmių nėra lygios nuliui |
| Aiškinamasis aspektas | Aukštas – kiekvienas matmuo turi aiškią reikšmę | Žemas – matmenys yra abstraktūs latentiniai elementai |
| Sandėliavimo efektyvumas | Efektyvumui reikalingi reti formatai (CSR, CSC) | Saugomi kaip standartiniai tankūs masyvai |
| Dažniausiai naudojami atvejai | Teksto klasifikavimas, rekomendacijų sistemos, paspaudimų dažnio prognozavimas | Gilusis mokymasis, semantinė paieška, vaizdų ir garso apdorojimas |
| Skaičiavimo kaina | Efektyvus tiesiniams modeliams, brangus neuroniniams tinklams | Optimizuotas GPU/TPU spartinimui neuroniniuose tinkluose |
| Apibendrinimo elgesys | Ribotas – kiekvieną funkciją traktuoja atskirai | Stiprus – fiksuoja susijusių elementų panašumą |
| Generavimo metodas | Vieno karštojo kodavimo, TF-IDF, skaičiavimo vektoriai | Įterpimai, neuroniniai sluoksniai, matricos faktorizacija |
Retas požymių naudojimas sukuria vektorius, kuriuose didžioji dauguma įrašų yra lygūs nuliui, kas natūraliai nutinka, kai koduojami kategoriniai kintamieji arba teksto žetonai į daugiamatę erdvę. Tuo tarpu tankus požymių naudojimas supakuoja informaciją į kompaktiškus vektorius, kuriuose beveik kiekvienas matmuo turi prasmingą slankiojo kablelio reikšmę. Struktūrinis skirtumas turi kaskadinį poveikį tam, kaip modeliai apdoroja, saugo ir mokosi iš duomenų.
Tiesiniai modeliai, tokie kaip logistinė regresija ir SVM, klesti esant negausiems įvesties duomenims, nes skaičiavimo metu jie gali ignoruoti nulinės vertės dimensijas. Kita vertus, neuroniniai tinklai yra sukurti tankioms tenzorinėms operacijoms ir veikia prastai, kai jiems tiekiami neapdoroti reti vektoriai be konvertavimo. Todėl daugelis gamybinių sistemų konvertuoja retus elementus į tankius įterpimus, prieš juos įtraukdamos į giliąsias architektūras.
Reti požymiai yra lengviau interpretuojami, nes kiekvienas matmuo tiesiogiai susiejamas su realaus pasaulio atributu, pvz., konkrečiu žodžiu ar produkto kategorija. Tankūs požymiai aukoja šį skaidrumą mainais į stipresnį apibendrinimą, nes semantiškai panašūs elementai įterpimo erdvėje atsiduria arti vienas kito. Šis kompromisas paaiškina, kodėl dažni hibridiniai metodai: reti požymiai paaiškinamiems linijiniams komponentams ir tankūs įterpimai giliems sluoksniams.
Milijono matmenų reto vektoriaus, turinčio tik 50 nenulinių įrašų, saugojimas yra daug pigesnis nei tankaus 1024 matmenų vektoriaus saugojimas kiekvienam elementui, ypač dideliu masteliu. Tačiau retos operacijos GPU yra žinomos kaip neefektyvios, nes aparatinė įranga yra optimizuota tankios matricos daugybai. Šis neatitikimas dažnai verčia specialistus tankinti elementus prieš pasitelkiant greitintuvo aparatinę įrangą.
Paieškos sistemos ir rekomendacijų sistemos istoriškai rėmėsi retais atvaizdavimais, tokiais kaip TF-IDF ir vienkartiniais kodavimais, reitingavimui ir paspaudimų dažnio prognozavimui. Šiuolaikinės sistemos vis dažniau derina šiuos metodus su tankiais įterpimais iš tokių modelių kaip BERT arba dviejų bokštų neuroniniai tinklai, kad užfiksuotų semantinę reikšmę. Pasirinkimas galiausiai priklauso nuo to, ar programa teikia pirmenybę paaiškinamumui, mastui ar nuspėjamumo tikslumui.
Tankios funkcijos visada yra geresnės nei retos funkcijos, nes jos naudoja mažiau atminties.
Tankūs vektoriai naudoja mažiau dimensijų, tačiau kiekviena dimensija saugo visą slankiojo kablelio reikšmę. Retas vektorius, turintis tik kelis nenulinius įrašus, iš tikrųjų gali sunaudoti daug mažiau atminties nei bet kokio dydžio tankus vektorius. Teisingas pasirinkimas priklauso nuo duomenų struktūros ir naudojamo modelio.
Reti požymiai negali užfiksuoti semantinių ryšių tarp žodžių ar elementų.
Nors atskiri reti matmenys tiesiogiai nekoduoja panašumo, tokie metodai kaip TF-IDF svorių nustatymas ir išmokti reti atvaizdavimai, tokie kaip SPLADE, gali užfiksuoti reikšmingą terminų svarbą. Tačiau tankūs įterpimai išlieka efektyvesni modeliuojant niuansuotą semantinį panašumą.
Neuroniniai tinklai negali dirbti su retais įvesties elementais.
Neuroniniai tinklai gali priimti retus įvesties duomenis, tačiau paprastai jie juos konvertuoja į tankius įterpimus kaip pirmąjį sluoksnį. Tokie modeliai kaip „DeepFM“, „Wide“ ir „Deep“ bei įvairios rekomendavimo sistemos aiškiai apdoroja retus kategorinius požymius per įterpimo paieškos lenteles.
Tankūs įterpimai panaikina elementų inžinerijos poreikį.
Tankūs įterpimai automatizuoja kai kurių funkcijų mokymąsi, tačiau apgalvotas išankstinis apdorojimas, funkcijų parinkimas ir architektūros projektavimas vis tiek yra labai svarbūs. Neapdoroti šiukšlių duomenys sukuria šiukšlių įterpimus, nepriklausomai nuo to, koks sudėtingas yra modelis.
Reti atvaizdavimai yra pasenę ir nebenaudojami šiuolaikiniame dirbtiniame intelekte.
Retos funkcijos išlieka pamatinės didelio masto sistemose, tokiose kaip „Google“ paieška, internetinė reklama ir daugelis gamybos rekomendacijų sistemų. Jos dažnai derinamos su tankiais įterpimais, o ne visiškai pakeičiamos.
Retas funkcijų naudojimas yra geresnis pasirinkimas, kai svarbiausia yra interpretuojamumas, tiesinis modeliavimas ir saugojimo efektyvumas itin dideliu mastu, pavyzdžiui, CTR prognozavimo ar klasikinių NLP procesų atveju. Tankus funkcijų naudojimas yra laimesnis dirbant su gilaus mokymosi modeliais, semantiniu supratimu arba užduotimis, kurioms reikalingas stiprus apibendrinimas tarp panašių įvesties duomenų. Daugelyje gamybinių sistemų derinami abu šie būdai, naudojant retas funkcijas paaiškinamiems komponentams ir tankius įterpimus galingam tolesniam modeliavimui.
„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.
„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.
„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.
„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.
A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.
