A funkciókiválasztás leszűkíti a meglévő változókat a leghasznosabbakra, míg a funkciómérnöki bővítés új funkciókat hoz létre nyers adatokból. Mindkettő alakítja a gépi tanulási modellek teljesítményét, de ellentétes irányban működnek a funkciófolyamatban.
Az a folyamat, amelynek során egy meglévő adathalmazból azonosítjuk és csak a legrelevánsabb bemeneti változókat tartjuk meg a modell betanításához.
Új bemeneti változók generálásának gyakorlata nyers vagy meglévő adatokból történő transzformációkkal, kombinációkkal vagy kinyeréssel.
| Funkció | Funkcióválasztás | Jellemzőmérnöki bővítés |
|---|---|---|
| Elsődleges irány | Csökkenti a meglévő funkciókat | Bővíti vagy új funkciókat hoz létre |
| Tipikus gól | Javítja a fókuszt és csökkenti a zajt | Gazdagítsa az adatokat prediktívebb jelekkel |
| Gyakori technikák | Szűrő, burkoló és beágyazott metódusok | Transzformációk, interakciók, beágyazások, kódolás |
| Az adathalmaz méretére gyakorolt hatás | Csökkenti a funkciók számát | Növeli a funkciók számát |
| Szerep a csővezetékben | Általában a jellemzőtervezés után alkalmazzák | Általában a jellemzők kiválasztása előtt alkalmazzák |
| Az értelmezhetőségre gyakorolt hatás | Általában növeli az értelmezhetőséget | Túlzott használat esetén csökkentheti az értelmezhetőséget |
| A túlilleszkedés kockázata | Helyes végrehajtás esetén alacsonyabb | Magasabb, ha túl sok funkciót adnak hozzá |
| Függőség a tartományi tudástól | Mérsékelt; statisztikai kritériumok gyakran elegendőek | Magas; az értelmes jellemzők gyakran szakértelmet igényelnek |
A jellemzőkiválasztás a „kevesebb több” elven működik. Azáltal, hogy eltávolítjuk azokat a változókat, amelyek nem járulnak hozzá érdemi módon, a modellek gyorsabban betanulnak és gyakran jobban általánosíthatók. A jellemzőmérnöki bővítés ellentétes álláspontot képvisel, feltételezve, hogy az alapul szolgáló probléma gazdagabb reprezentációi olyan mintákat oldhatnak fel, amelyeket a modell egyébként nem venne észre. A gyakorlatban a legtöbb sikeres folyamat mindkettőt használja: először bővítés, majd kiválasztás.
jellemzők kiválasztása általában akkor hozza a legnagyobb hasznot, ha az adathalmazok szélesek, azaz sok oszlopuk van a sorokhoz képest, vagy ha az értelmezhetőség számít, például a szabályozott iparágakban, mint az egészségügy vagy a pénzügy. A jellemzők fejlesztésének bővítése akkor kifizetődő a leginkább, ha a nyers adatok rendezetlenek, ritkák, vagy olyan formátumokban vannak rögzítve, amelyeket a modellek nem tudnak közvetlenül felhasználni, például időbélyegek, szöveg vagy kategóriacímkék. Egy jól kidolgozott, tervezett funkció néha több tucat nyers adatot is felülmúlhat.
Az olyan szelekciós módszerek, mint a rekurzív jellemzőkiküszöbölés vagy a Lasso-alapú szűrés, szerény számítási többletterhelést jelentenek, és a bemeneti tér csökkentésével valójában csökkenthetik a betanítási időt. A bővítési módszerek, különösen a polinomiális jellemzők vagy az automatizált jellemzőgenerálás, drámaian megnövelhetik a jellemzők számát. Egy 50 oszlopból álló, harmadfokú polinomiális tagokra kibővített adathalmaz könnyen több ezer jellemzőt hozhat létre, ami több memóriát és hosszabb betanítási ciklusokat igényel.
Az olyan fa alapú modellek, mint az XGBoost és a LightGBM, kecsesen kezelik a lényegtelen jellemzőket, ami csökkenti az agresszív szelekció sürgősségét. A mélytanulási modellek ezzel szemben gyakran óriási hasznot húznak a jellemzőtervezésből, mivel tanulnak a reprezentációkból, de továbbra is informatív bemenetekre támaszkodnak. A neurális hálózatok implicit jellemzőtervezést is végezhetnek rétegek beágyazásával, elmosva a két gyakorlat közötti határt.
A túl agresszív szelekció azzal a kockázattal jár, hogy elvetünk olyan jellemzőket, amelyek önmagukban gyengének tűnnek, de másokkal kombinálva számítanak. A túlzott kiterjesztés az ellenkező veszélyt teremti: zajos vagy korrelált jellemzők özönét, amelyek összezavarják a modellt és felfújják a varianciát. A keresztvalidáció mindkettő standard védelme, amely segít a szakembereknek annak mérésében, hogy a hozzáadott vagy eltávolított jellemzők valóban javítják-e a mintán kívüli teljesítményt.
A funkciókiválasztás és a funkciótervezés ugyanaz.
Kiegészítik egymást, de elkülönülnek egymástól. A jellemzőmérnökség új változókat hoz létre nyers adatokból, míg a jellemzőkiválasztás választja ki, hogy mely változókat tartsa meg. Az egyik kiterjeszti a jellemzőteret, a másik szűkíti azt.
Több funkció mindig jobb modellekhez vezet.
Az indoklás nélküli jellemzők hozzáadása gyakran zajt, multikollinearitást és túlillesztést eredményez. A dimenzionalitás átka azt jelenti, hogy a modellek valójában rosszabbul teljesíthetnek, ahogy a jellemzők száma növekszik, anélkül, hogy a jel ennek megfelelően javulna.
A jellemzők kiválasztása csak kis adathalmazok esetén hasznos.
funkciók kiválasztása bármilyen méretben hasznos. Még több millió sor esetén is a lényegtelen vagy redundáns funkciók eltávolítása lerövidíti a betanítási időt, csökkenti a tárolási költségeket, és gyakran javítja az általánosítást.
A mélytanulás kiküszöböli a funkciótervezés szükségességét.
A mélytanulás automatizálja a reprezentációtanulás egy részét, de a jól megtervezett funkciók továbbra is javítják a teljesítményt, csökkentik az adatkövetelményeket és felgyorsítják a konvergenciát a legtöbb gyakorlati alkalmazásban.
Az automatizált funkciókiválasztó eszközök mindig a legjobb funkciókat választják ki.
Az automatizált módszerek olyan statisztikai kritériumokra támaszkodnak, amelyek nem mindig illeszkednek az üzleti célokhoz vagy az ok-okozati összefüggésekhez. Az emberi ítélőképesség továbbra is fontos, különösen akkor, ha a jellemzők domainjelentést hordoznak.
Válassza a jellemzőkiválasztást, ha az adathalmaz már sok változót tartalmaz, és egy karcsúbb, értelmezhetőbb modellre van szüksége. Válassza a jellemzőmérnöki bővítést, ha a nyers adatokból hiányzik a szerkezet vagy a prediktív ereje, és rendelkezik a szükséges szakértelemmel ahhoz, hogy értelmes új változókat hozzon létre. A legtöbb valós projektben a legjobb eredmény a kettő kombinálásával születik: átgondolt bővítés, majd szigorú kiválasztás.
késleltetésre fókuszált kiszolgálás és a tiszta pontosságoptimalizálás két egymással versengő filozófiát képvisel a mesterséges intelligencia telepítésében. A késleltetésre összpontosító kiszolgálás a sebességet és a felhasználói élményt helyezi előtérbe, míg a tiszta pontosságoptimalizálás a lehető legmagasabb modellteljesítményt célozza meg, függetlenül a következtetési időtől. A kettő közötti választás meghatározza, hogyan viselkednek a mesterséges intelligencia rendszerek éles környezetben.
Az A/B tesztelés a modellkiszolgáló rendszerben a versengő modellverziók közötti forgalmat irányítja át a valós teljesítmény mérése érdekében, míg az egyetlen modell telepítése egyetlen modellt küld minden felhasználónak. A csapatok a kockázattűrés, a forgalom mennyisége és a teljes bevezetés előtti statisztikai validáció szükségessége alapján választanak közöttük.
Az A/B tesztelés a tartalomkiadásokban magában foglalja a variációk különböző közönségszegmensek számára történő bevezetését és a teljesítmény mérését, míg az egyszeri tartalomkiadások egyetlen verziót juttatnak el egyszerre mindenkihez. Minden megközelítés más célokat szolgál, az A/B tesztelés az adatvezérelt optimalizálást, míg az egyszeri kiadások a sebességet és az egyszerűséget helyezik előtérbe.
Ez a részletes összehasonlítás az adaptív intelligenciamotorok architektúrális különbségeit, működési korlátait és valós teljesítményét vizsgálja a fix viselkedésű automatizálási rendszerekkel szemben. Megvizsgáljuk, hogy az új környezeti adatokból folyamatosan tanuló rendszerek hogyan viszonyulnak a merev, kiszámítható, szabályokon alapuló keretrendszerekhez.
Az adaptív lekérések dinamikusan igazítják a rendszer által lekérdezett információk módját és típusát, míg a statikus lekérési folyamatok rögzített szabályokat követnek, a kontextustól függetlenül. Mindkettő modern mesterséges intelligencia alkalmazásokat működtet, de rugalmasságukban, költségükben és pontosságukban élesen különböznek. A választás a köztük lévő feladatok összetettségétől és a költségvetéstől függ.
