Funkcijų parinkimas susiaurina esamus kintamuosius iki naudingiausių, o funkcijų inžinerijos išplėtimas sukuria naujas funkcijas iš neapdorotų duomenų. Abu šie veiksniai formuoja mašininio mokymosi modelių veikimą, tačiau funkcijų kūrimo procese jie veikia priešingomis kryptimis.
Procesas, kurio metu iš esamo duomenų rinkinio identifikuojami ir išsaugomi tik svarbiausi įvesties kintamieji modelio mokymui.
Naujų įvesties kintamųjų generavimo praktika naudojant transformacijas, derinius arba ištraukimus iš neapdorotų arba esamų duomenų.
| Funkcija | Funkcijų pasirinkimas | Funkcijų inžinerijos išplėtimas |
|---|---|---|
| Pirminė kryptis | Sumažina esamas funkcijas | Išplečia arba sukuria naujų funkcijų |
| Tipinis tikslas | Pagerinkite fokusavimą ir sumažinkite triukšmą | Praturtinkite duomenis labiau nuspėjamaisiais signalais |
| Įprasti metodai | Filtravimo, įvyniojimo ir įterptieji metodai | Transformacijos, sąveikos, įterpimai, kodavimas |
| Poveikis duomenų rinkinio dydžiui | Sumažina funkcijų skaičių | Padidina funkcijų skaičių |
| Vaidmuo vamzdyne | Paprastai taikoma po funkcijų inžinerijos | Paprastai taikoma prieš pasirenkant funkciją |
| Poveikis interpretuojamumui | Paprastai pagerina interpretuojamumą | Gali sumažinti interpretuojamumą, jei naudojamas per daug |
| Per didelio pritaikymo rizika | Nuleiskite, kai padaryta teisingai | Didesnis, jei pridėta per daug funkcijų |
| Priklausomybė nuo srities žinių | Vidutinis; dažnai pakanka statistinių kriterijų | Aukštas; reikšmingoms savybėms dažnai reikia ekspertų |
Funkcijų atranka veikia principu „mažiau yra daugiau“. Pašalinus kintamuosius, kurie reikšmingai neprisideda, modeliai mokomi greičiau ir dažnai geriau apibendrinami. Funkcijų inžinerijos išplėtimas laikosi priešingos pozicijos, darant prielaidą, kad išsamesni pagrindinės problemos vaizdai gali atskleisti modeliui kitaip nepastebėtus modelius. Praktiškai dauguma sėkmingų srautų naudoja abu: pirmiausia išplečia, tada atrenka.
Funkcijų pasirinkimas dažniausiai duoda didžiausią naudą, kai duomenų rinkiniai yra platūs, t. y. juose yra daug stulpelių, palyginti su eilutėmis, arba kai svarbus interpretavimo paprastumas, pavyzdžiui, reguliuojamose pramonės šakose, tokiose kaip sveikatos apsauga ar finansai. Funkcijų inžinerijos išplėtimas labiausiai atsiperka, kai neapdoroti duomenys yra netvarkingi, reti arba užstrigę formatuose, kurių modeliai negali tiesiogiai apdoroti, pvz., laiko žymos, tekstas ar kategorijų žymos. Gerai sukurta inžinerinė funkcija kartais gali pranokti dešimtis neapdorotų duomenų.
Tokie atrankos metodai kaip rekursinis požymių pašalinimas arba laso pagrindu sukurtas filtravimas prideda šiek tiek skaičiavimo krūvio ir iš tikrųjų gali sutrumpinti vėlesnį mokymo laiką, sumažindami įvesties erdvę. Išplėtimo metodai, ypač polinominiai požymiai arba automatinis požymių generavimas, gali smarkiai padidinti požymių skaičių. Duomenų rinkinys su 50 stulpelių, išplėstų iki 3 laipsnio polinominių terminų, gali lengvai sukurti tūkstančius požymių, kuriems reikia daugiau atminties ir ilgesnių mokymo ciklų.
Medžiais paremti modeliai, tokie kaip „XGBoost“ ir „LightGBM“, tvarkingai tvarko nereikšmingus elementus, o tai sumažina agresyvaus pasirinkimo skubumą. Kita vertus, gilaus mokymosi modeliai dažnai gauna didžiulę naudą iš elementų inžinerijos, nes jie mokosi reprezentacijų, bet vis tiek remiasi informatyviais įvesties duomenimis. Neuroniniai tinklai taip pat gali atlikti numanomą elementų inžineriją įterpdami sluoksnius, taip suliedami ribą tarp šių dviejų praktikų.
Pernelyg agresyvus atrankos metodas kelia pavojų atmesti savybes, kurios atskirai atrodo silpnos, bet yra svarbios kartu su kitomis. Per didelis išplėtimas sukuria priešingą pavojų: triukšmingų ar koreliuojančių savybių antplūdį, kuris painioja modelį ir padidina dispersiją. Kryžminis patvirtinimas yra standartinė abiejų šių veiksnių apsaugos priemonė, padedanti specialistams įvertinti, ar pridėtos ar pašalintos savybės iš tikrųjų pagerina imties rezultatus.
Funkcijų pasirinkimas ir funkcijų inžinerija yra tas pats dalykas.
Jie vienas kitą papildo, bet yra skirtingi. Funkcijų inžinerija sukuria naujus kintamuosius iš neapdorotų duomenų, o funkcijų parinkimas pasirenka, kuriuos kintamuosius išsaugoti. Vienas išplečia funkcijų erdvę, kitas ją sutraukia.
Daugiau funkcijų visada lemia geresnius modelius.
Pridėjus požymius be pateisinimo, dažnai atsiranda triukšmas, multikolinearumas ir perteklinis pritaikymas. Matmenų prakeiksmas reiškia, kad modeliai gali prastėti, kai didėja požymių skaičius, o signalas atitinkamai nepagerėja.
Funkcijų pasirinkimas naudingas tik mažiems duomenų rinkiniams.
Funkcijų pasirinkimas padeda bet kokiu mastu. Net ir turint milijonus eilučių, nereikalingų ar nereikalingų funkcijų pašalinimas sutrumpina mokymo laiką, sumažina saugojimo išlaidas ir dažnai pagerina apibendrinimą.
Gilusis mokymasis panaikina funkcijų inžinerijos poreikį.
Gilusis mokymasis automatizuoja kai kuriuos reprezentacinius mokymus, tačiau gerai suprojektuotos funkcijos vis tiek pagerina našumą, sumažina duomenų reikalavimus ir pagreitina konvergenciją daugumoje praktinių pritaikymų.
Automatiniai funkcijų parinkimo įrankiai visada parenka geriausias funkcijas.
Automatizuoti metodai remiasi statistiniais kriterijais, kurie ne visada atitinka verslo tikslus ar priežastinius ryšius. Žmonių vertinimas išlieka svarbus, ypač kai funkcijos turi srities reikšmę.
Rinkitės požymių pasirinkimą, kai jūsų duomenų rinkinyje jau yra daug kintamųjų ir jums reikia paprastesnio, lengviau interpretuojamo modelio. Rinkitės požymių inžinerijos išplėtimą, kai neapdorotiems duomenims trūksta struktūros ar prognozavimo galios ir turite srities patirties, kad sukurtumėte prasmingus naujus kintamuosius. Daugelyje realaus pasaulio projektų geriausi rezultatai gaunami derinant abu: apgalvotai išplėtus, o tada griežtai atrenkant.
„DeepSeek V4“ yra kylantis atvirojo svorio didelių kalbų modelis, sukurtas Kinijos dirbtinio intelekto laboratorijoje, o GPT-4 klasės modeliai nurodo „OpenAI“ flagmanines uždarojo kodo sistemas. Šiame palyginime nagrinėjama jų architektūra, galimybės, kainos, prieinamumas ir našumas realiame pasaulyje, siekiant padėti kūrėjams ir įmonėms išmintingai pasirinkti.
„Google“ paieška yra plataus masto žiniatinklio indeksavimo variklis, kurį dauguma žmonių naudoja kasdien, o „Knowledge Graph Search“ yra „Google“ struktūrizuotų objektų duomenų bazė, kurioje pateikiami tiesioginiai atsakymai ir informacijos skydeliai. Supratimas, kuo jie skiriasi, padeda paaiškinti, kodėl kai kurios užklausos pateikia išsamius faktus, o kitos – tradicines mėlynas nuorodas.
„Google“ paieškos algoritmas reitinguoja milijardus tinklalapių, naudodamas mašininį mokymąsi ir šimtus signalų, o supaprastinti klasių modeliai perteikia dirbtinio intelekto koncepcijas į lengvai mokomas, prieinamas sistemas. Viena sistema veikia planetos mastu gamyboje; kita tarnauja kaip pedagoginis tiltas mokiniams, mokantis, kaip iš tikrųjų veikia dirbtinis intelektas.
„Vienas su vienu“ atitikimo metodas kiekvienam pagrindiniam objektui priskiria vieną numatomą langelį, o „daugelis su vienu“ atitikimo metodas leidžia kelias prognozes suderinti su vienu taikiniu. Abi strategijos formuoja tai, kaip šiuolaikiniai detektoriai, tokie kaip DETR ir „Faster R-CNN“, mokosi lokalizuoti objektus, kiekvienas iš jų turi skirtingus kompromisus tikslumo, mokymo stabilumo ir pasikartojančių aptikimų tvarkymo srityse.
A/B testavimas modeliuose nukreipia srautą tarp konkuruojančių modelio versijų, kad būtų galima įvertinti realų našumą, o diegiant vieną modelį visiems vartotojams pateikiamas vienas modelis. Komandos renkasi iš jų pagal rizikos toleranciją, srauto kiekį ir statistinio patvirtinimo poreikį prieš visišką diegimą.
