jellemzők metszése és gazdagítása ellentétes stratégiákat képviselnek a gépi tanulásban: az egyik eltávolítja a felesleges adatokat a modellek egyszerűsítése érdekében, míg a másik új információkat ad hozzá a prediktív teljesítmény növelése érdekében. A kettő közötti választás attól függ, hogy a modell zajos-e, vagy hiányoznak a kontextusok.
Egy olyan technika, amely eltávolítja az irreleváns vagy redundáns jellemzőket az adathalmazból a modell teljesítményének javítása és a bonyolultság csökkentése érdekében.
Új változók hozzáadásának vagy meglévők átalakításának folyamata, amelynek célja, hogy a gépi tanulási modellek gazdagabb információkat kapjanak az előrejelzésekhez.
| Funkció | Jellemzők metszése | Funkciógazdagítás |
|---|---|---|
| Elsődleges cél | Távolítsa el a felesleges funkciókat | Értékes funkciók hozzáadása |
| Az adathalmaz méretére gyakorolt hatás | Csökkenti a funkciók számát | Növeli a funkciók számát |
| A modell komplexitására gyakorolt hatás | Leegyszerűsíti a modellt | Növeli a modell komplexitását |
| Legjobban használható, amikor | A modell túlilleszkedik vagy lassú | A modell nem illeszkedik megfelelően, vagy hiányzik belőle a kontextus |
| Gyakori technikák | Lasszó, fa alapú fontosság, PCA | Kódolás, beágyazások, jellemzőkeresztezések |
| Kockázat | Hasznos funkciók véletlen eltávolítása | Zajos vagy redundáns funkciók hozzáadása |
| Számítási költség | Általában alacsonyabb a metszés után | Általában magasabb a több funkció miatt |
| Értelmezhetőség | Általában javul | Nehezebbé válhat értelmezni |
A jellemzők metszése minimalista filozófiát követ: a kevesebb több. Azzal, hogy eltávolítja a csekély prediktív értékkel rendelkező változókat, a modell arra összpontosít, ami valóban számít. A jellemzők gazdagítása az ellenkező álláspontot képviseli, és úgy véli, hogy a gazdagabb, részletesebb bemenetek intelligensebb előrejelzésekhez vezetnek. Mindkét filozófiának megvannak az előnyei, és a helyes választás a kiindulási adatok minőségétől és teljességétől függ.
metszés akkor működik a legjobban, ha több száz vagy ezer jellemzőnk van, és gyanítjuk, hogy sok közülük zajos, például genomikai adatokban vagy szövegosztályozásban szóba ragadt modellekkel. A dúsítás akkor kiemelkedő, ha az adathalmaz ritka vagy hiányzik belőle a kritikus kontextus, például az ügyfél-elvándorlás előrejelzése csak alapvető demográfiai adatok alapján, viselkedési előzmények nélkül. A gyakorlatban az adattudósok gyakran kombinálják a kettőt: először dúsítják, majd a kibővített halmazt metszik.
A csonkolt modellek jellemzően gyorsabban betanulnak és kisebb memória-lábnyommal telepíthetők, így ideálisak peremhálózati eszközökhöz vagy valós idejű rendszerekhez. A dúsított modellek nagyobb pontosságot érhetnek el, de hosszabb betanítási idő és nagyobb tárhelyigény árán. A dúsítás számítási többletterhelése akkor indokolt, ha a pontosság növekedése közvetlenül üzleti értékké válik, például az orvosi diagnózisban vagy a csalásmegelőzésben.
metszés legnagyobb veszélye egy olyan jellemző eltávolítása, amely látszólag lényegtelen, de valójában számított a finom interakciókban. A dúsítás fő kockázata a jellemzőrobbanás, ahol a túl sok származtatott változó hozzáadása multikollinearitást és túlillesztést eredményez. Mindkét buktató enyhíthető keresztvalidációval és a validációs metrikák gondos monitorozásával a kísérletezés során.
A metszés természetesen egyszerűbb modellekhez vezet, amelyeket az érdekelt felek könnyebben megértenek, mivel kevesebb bemenet világosabb magyarázatokat jelent. A dúsítás zavarossá teheti a vizet olyan mesterséges jellemzők bevezetésével, amelyek jelentése nem nyilvánvaló, mint például a beágyazási vektorok vagy az interakciós kifejezések. Ennek ellenére a jól dokumentált, egyértelmű jellemzőnevekkel rendelkező dúsítási folyamatok megőrizhetik az értelmezhetőséget, miközben továbbra is növelik a teljesítményt.
Több funkció mindig jobb modellt jelent.
Az indokolatlan funkciók hozzáadása gyakran zajt és multikollinearitást okoz, ami ronthatja a teljesítményt. A minőség és a relevancia sokkal fontosabb, mint a mennyiség, ezért a metszés a dúsítás után is elengedhetetlen.
A funkciókivágás az oszlopok véletlenszerű törlését jelenti.
A hatékony metszés statisztikai teszteket, modellalapú fontossági pontszámokat vagy domainszakértelmet használ a valóban haszontalan jellemzők azonosítására. A véletlenszerű törlés szinte biztosan eltávolítaná az értékes jeleket a zajjal együtt.
A jellemzők gazdagítása mindig javítja a pontosságot.
A gazdagítás csak akkor segít, ha az új funkciók valódi prediktív információkat hordoznak. A lényegtelen vagy redundáns, tervezett funkciók hozzáadása ugyanolyan könnyen ronthatja a modell teljesítményét, mint amennyire javíthatja azt.
Vagy az egyik, vagy a másik stratégiát kell választanod.
valós gépi tanulási folyamatokban a dúsítás és a metszés egymást kiegészítő lépések. A csapatok jellemzően először a nyers adatokat gazdagítják, majd a kibővített funkciókészletet metszik, hogy csak azokat tartsák meg, amelyek valóban befolyásolják az előrejelzéseket.
A metszés definíció szerint kevésbé pontossá teszi a modelleket.
A metszés eltávolítja azokat a jellemzőket, amelyek rontják az általánosítást, így a jól végrehajtott metszés gyakran javítja a teszthalmaz pontosságát. A cél nem a jellemzők önkényes minimalizálása, hanem csak azok megtartása, amelyek érdemi módon hozzájárulnak az előrejelzésekhez.
Válassza a jellemzők metszését, ha a modellje túlillesztődik, túl lassan tanítható, vagy nehézséget okoz a nagydimenziós adatokkal. Válassza a jellemzők gazdagítását, ha a pontosság stagnál, mert az adathalmazból hiányzik a valós minták rögzítéséhez szükséges kontextus. A legtöbb éles munkafolyamatban a legokosabb út az, hogy átgondoltan gazdagítsuk, majd agresszívan metsszük az optimális egyensúly megtalálása érdekében.
késleltetésre fókuszált kiszolgálás és a tiszta pontosságoptimalizálás két egymással versengő filozófiát képvisel a mesterséges intelligencia telepítésében. A késleltetésre összpontosító kiszolgálás a sebességet és a felhasználói élményt helyezi előtérbe, míg a tiszta pontosságoptimalizálás a lehető legmagasabb modellteljesítményt célozza meg, függetlenül a következtetési időtől. A kettő közötti választás meghatározza, hogyan viselkednek a mesterséges intelligencia rendszerek éles környezetben.
Az A/B tesztelés a modellkiszolgáló rendszerben a versengő modellverziók közötti forgalmat irányítja át a valós teljesítmény mérése érdekében, míg az egyetlen modell telepítése egyetlen modellt küld minden felhasználónak. A csapatok a kockázattűrés, a forgalom mennyisége és a teljes bevezetés előtti statisztikai validáció szükségessége alapján választanak közöttük.
Az A/B tesztelés a tartalomkiadásokban magában foglalja a variációk különböző közönségszegmensek számára történő bevezetését és a teljesítmény mérését, míg az egyszeri tartalomkiadások egyetlen verziót juttatnak el egyszerre mindenkihez. Minden megközelítés más célokat szolgál, az A/B tesztelés az adatvezérelt optimalizálást, míg az egyszeri kiadások a sebességet és az egyszerűséget helyezik előtérbe.
Ez a részletes összehasonlítás az adaptív intelligenciamotorok architektúrális különbségeit, működési korlátait és valós teljesítményét vizsgálja a fix viselkedésű automatizálási rendszerekkel szemben. Megvizsgáljuk, hogy az új környezeti adatokból folyamatosan tanuló rendszerek hogyan viszonyulnak a merev, kiszámítható, szabályokon alapuló keretrendszerekhez.
Az adaptív lekérések dinamikusan igazítják a rendszer által lekérdezett információk módját és típusát, míg a statikus lekérési folyamatok rögzített szabályokat követnek, a kontextustól függetlenül. Mindkettő modern mesterséges intelligencia alkalmazásokat működtet, de rugalmasságukban, költségükben és pontosságukban élesen különböznek. A választás a köztük lévő feladatok összetettségétől és a költségvetéstől függ.
