Funkcijų genėjimas ir funkcijų praturtinimas yra priešingos mašininio mokymosi strategijos: viena pašalina nereikalingus duomenis, kad supaprastintų modelius, o kita prideda naujos informacijos, kad padidintų prognozavimo galią. Pasirinkimas priklauso nuo to, ar jūsų modelyje yra triukšmo, ar trūksta konteksto.
Metodas, kuris pašalina nereikalingas arba nereikalingas funkcijas iš duomenų rinkinio, siekiant pagerinti modelio našumą ir sumažinti sudėtingumą.
Naujų kintamųjų pridėjimo arba esamų transformavimo procesas, siekiant suteikti mašininio mokymosi modeliams išsamesnės informacijos prognozėms.
| Funkcija | Funkcijų genėjimas | Funkcijų praturtinimas |
|---|---|---|
| Pagrindinis tikslas | Pašalinkite nereikalingas funkcijas | Pridėkite vertingų funkcijų |
| Poveikis duomenų rinkinio dydžiui | Sumažina funkcijų skaičių | Padidina funkcijų skaičių |
| Poveikis modelio sudėtingumui | Supaprastina modelį | Padidina modelio sudėtingumą |
| Geriausia naudoti, kada | Modelis per daug pritaikomas arba lėtas | Modelis neatitinka konteksto arba jam trūksta konteksto |
| Įprasti metodai | Lasso, medžių svarba, PCA | Kodavimas, įterpimai, funkcijų kryžminimai |
| Rizika | Naudingų funkcijų pašalinimas per klaidą | Triukšmingų arba nereikalingų funkcijų pridėjimas |
| Skaičiavimo kaina | Paprastai žemesnis po genėjimo | Paprastai didesnis dėl daugiau funkcijų |
| Aiškinamasis aspektas | Paprastai pagerėja | Gali būti sunkiau interpretuoti |
Funkcijų genėjimas vadovaujasi minimalistine filosofija: mažiau yra daugiau. Pašalinant kintamuosius, kurie mažai prisideda prie prognozinės vertės, modelis sutelkia dėmesį į tai, kas iš tikrųjų svarbu. Funkcijų praturtinimas laikosi priešingos pozicijos, manydamas, kad išsamesni ir išsamesni duomenys leidžia gauti protingesnes prognozes. Abi filosofijos turi savo privalumų, o teisingas pasirinkimas priklauso nuo pradinių duomenų kokybės ir išsamumo.
Genėjimas geriausiai veikia, kai turite šimtus ar tūkstančius funkcijų ir įtariama, kad daugelis jų yra triukšmingi, pavyzdžiui, genominiuose duomenyse arba teksto klasifikavime naudojant žodžių maišo modelius. Praturtinimas geriausiai veikia, kai jūsų duomenų rinkinys yra retas arba jame trūksta svarbaus konteksto, pavyzdžiui, prognozuojant klientų praradimą naudojant tik pagrindinius demografinius duomenis be elgsenos istorijos. Praktiškai duomenų mokslininkai dažnai derina abu metodus: pirmiausia praturtina, o tada genėja išplėstą rinkinį.
Apkarpyti modeliai paprastai mokosi greičiau ir diegiami su mažesniu atminties kiekiu, todėl jie idealiai tinka periferiniams įrenginiams arba realaus laiko sistemoms. Praturtinti modeliai gali pasiekti didesnį tikslumą, tačiau tai kainuoja ilgiau mokantis ir reikia daugiau atminties. Praturtinimo skaičiavimo išlaidas galima pateisinti, kai tikslumo padidėjimas tiesiogiai padidina verslo vertę, pavyzdžiui, medicininės diagnostikos ar sukčiavimo prevencijos srityse.
Didžiausias genėjimo pavojus yra pašalinti funkciją, kuri atrodė nesvarbi, bet iš tikrųjų buvo svarbi subtiliose sąveikose. Pagrindinė praturtinimo rizika yra funkcijų sprogimas, kai pridėjus per daug išvestinių kintamųjų, atsiranda multikolinearumas ir per didelis pritaikymas. Abu trūkumus galima sušvelninti atliekant kryžminį patvirtinimą ir atidžiai stebint patvirtinimo metrikas eksperimento metu.
Genėjimas natūraliai veda prie paprastesnių modelių, kuriuos suinteresuotosios šalys gali suprasti, nes mažiau įvesties duomenų reiškia aiškesnius paaiškinimus. Praturtinimas gali drumsti vandenis, įvedant inžinerines funkcijas, kurių reikšmė nėra akivaizdi, pavyzdžiui, įterpimo vektorius ar sąveikos terminus. Nepaisant to, gerai dokumentuoti praturtinimo srautai su aiškiais funkcijų pavadinimais gali išlaikyti interpretuojamumą ir kartu pagerinti našumą.
Daugiau funkcijų visada reiškia geresnį modelį.
Funkcijų pridėjimas be pateisinimo dažnai sukelia triukšmą ir multikolinearumą, o tai gali pakenkti našumui. Kokybė ir aktualumas yra daug svarbesni nei kiekybė, todėl genėjimas išlieka svarbus net ir po praturtinimo.
Funkcijų genėjimas yra tiesiog atsitiktinis stulpelių ištrynimas.
Efektyvus genėjimas naudoja statistinius testus, modeliu pagrįstus svarbos įvertinimus arba srities ekspertizę, kad nustatytų tikrai nenaudingas funkcijas. Atsitiktinis ištrynimas beveik neabejotinai pašalintų vertingą signalą kartu su triukšmu.
Funkcijų praturtinimas visada pagerina tikslumą.
Praturtinimas padeda tik tada, kai naujos funkcijos turi tikrą nuspėjamąją informaciją. Pridėjus nesvarbias ar nereikalingas inžinerines funkcijas, modelio našumas gali taip pat lengvai pablogėti, kaip ir jį pagerinti.
Reikia pasirinkti vieną arba kitą strategiją.
Realaus pasaulio mašininio mokymosi procesuose praturtinimas ir genėjimas yra vienas kitą papildantys žingsniai. Komandos paprastai pirmiausia praturtina neapdorotus duomenis, o tada genėja išplėstinį funkcijų rinkinį, kad išsaugotų tik tai, kas iš tikrųjų lemia prognozes.
Genėjimas pagal apibrėžimą sumažina modelių tikslumą.
Genėjimas pašalina ypatybes, kurios kenkia apibendrinimui, todėl gerai atliktas genėjimas dažnai pagerina testo rinkinio tikslumą. Tikslas nėra savavališkai sumažinti ypatybes, o išlaikyti tik tas, kurios reikšmingai prisideda prie prognozių.
Funkcijų genėjimą rinkitės, kai jūsų modelis per daug pritaikomas, per lėtai mokomas arba sunkiai apdoroja daugiamačius duomenis. Funkcijų praturtinimą rinkitės, kai tikslumas yra nestabilus, nes jūsų duomenų rinkinyje trūksta konteksto, reikalingo realaus pasaulio modeliams užfiksuoti. Daugumoje gamybinių darbo eigų protingiausia yra apgalvotai praturtinti duomenis, o tada agresyviai genėti, kad būtų rastas optimalus balansas.
„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.
„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.
„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.
„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.
A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.
