Shkurtimi i veçorive dhe pasurimi i veçorive përfaqësojnë strategji të kundërta në të mësuarit automatik: njëra heq të dhënat e panevojshme për të thjeshtuar modelet, ndërsa tjetra shton informacion të ri për të rritur fuqinë parashikuese. Zgjedhja midis tyre varet nëse modeli juaj vuan nga zhurma apo nga mungesa e kontekstit.
Një teknikë që heq veçoritë e parëndësishme ose të tepërta nga një grup të dhënash për të përmirësuar performancën e modelit dhe për të zvogëluar kompleksitetin.
Një proces i shtimit të variablave të reja ose transformimit të atyre ekzistuese për t'u dhënë modeleve të të mësuarit automatik informacion më të pasur për parashikimet.
| Veçori | Shkurtimi i karakteristikave | Pasurimi i Karakteristikave |
|---|---|---|
| Qëllimi kryesor | Hiqni veçoritë e panevojshme | Shtoni veçori të vlefshme |
| Efekti në Madhësinë e të Dhënave | Zvogëlon numrin e veçorive | Rrit numrin e veçorive |
| Ndikimi në kompleksitetin e modelit | Thjeshton modelin | Rrit kompleksitetin e modelit |
| Përdoret më së miri kur | Modeli është tepër i përshtatshëm ose i ngadaltë | Modeli nuk i përshtatet mirë ose i mungon konteksti |
| Teknikat e zakonshme | Lasso, rëndësia e bazuar në pemë, PCA | Kodimi, integrimet, kryqëzimet e veçorive |
| Rrezik | Heqja e funksioneve të dobishme gabimisht | Shtimi i veçorive të zhurmshme ose të tepërta |
| Kostoja llogaritëse | Përgjithësisht më e ulët pas krasitjes | Përgjithësisht më i lartë për shkak të më shumë veçorive |
| Interpretueshmëria | Zakonisht përmirësohet | Mund të bëhet më e vështirë për t’u interpretuar |
Shkurtimi i veçorive ndjek një filozofi minimaliste: më pak është më shumë. Duke hequr variablat që kontribuojnë me pak vlerë parashikuese, modeli përqendrohet në atë që ka vërtet rëndësi. Pasurimi i veçorive mban qëndrimin e kundërt, duke besuar se të dhënat më të pasura dhe më të detajuara çojnë në parashikime më të zgjuara. Të dyja filozofitë kanë meritë, dhe zgjedhja e duhur varet nga cilësia dhe plotësia e të dhënave tuaja fillestare.
Shkurtimi funksionon më mirë kur keni qindra ose mijëra karakteristika dhe dyshoni se shumë prej tyre janë zhurmë, si në të dhënat gjenomike ose klasifikimin e tekstit me modele me fjalë të thjeshta. Pasurimi shkëlqen kur të dhënat tuaja janë të pakta ose u mungon konteksti kritik, si parashikimi i largimit të klientëve duke përdorur vetëm të dhëna demografike bazë pa histori sjelljeje. Në praktikë, shkencëtarët e të dhënave shpesh i kombinojnë të dyja: së pari pasuroni, pastaj shkurtoni grupin e zgjeruar.
Modelet e shkurtuara zakonisht stërviten më shpejt dhe vendosen me gjurmë më të vogla memorieje, duke i bërë ato ideale për pajisjet në skaj ose sistemet në kohë reale. Modelet e pasuruara mund të arrijnë saktësi më të lartë, por me koston e kohëzgjatjeve më të gjata të trajnimit dhe nevojave më të mëdha të ruajtjes. Shpenzimet llogaritëse të pasurimit mund të justifikohen kur fitimet në saktësi përkthehen drejtpërdrejt në vlerë biznesi, siç është diagnostikimi mjekësor ose parandalimi i mashtrimeve.
Rreziku më i madh me shkurtimin është eliminimi i një veçorie që dukej e parëndësishme, por në të vërtetë kishte rëndësi në ndërveprimet delikate. Rreziku kryesor i pasurimit është shpërthimi i veçorive, ku shtimi i shumë variablave të derivuara sjell multikolinearitet dhe mbipërshtatje. Të dy kurthet mund të zbuten përmes validimit të kryqëzuar dhe monitorimit të kujdesshëm të metrikave të validimit gjatë eksperimentimit.
Shkurtimi çon natyrshëm në modele më të thjeshta që palët e interesuara mund t'i kuptojnë, pasi më pak të dhëna do të thotë shpjegime më të qarta. Pasurimi mund të turbullojë ujërat duke futur karakteristika të projektuara, kuptimi i të cilave nuk është i qartë, si p.sh. integrimi i vektorëve ose termave të ndërveprimit. Megjithatë, kanalet e pasurimit të dokumentuara mirë me emra të qartë të karakteristikave mund të ruajnë interpretueshmërinë, ndërkohë që rrisin performancën.
Më shumë karakteristika gjithmonë nënkuptojnë një model më të mirë.
Shtimi i veçorive pa justifikim shpesh sjell zhurmë dhe multikolinearitet, të cilat mund të dëmtojnë performancën. Cilësia dhe rëndësia kanë shumë më tepër rëndësi sesa sasia, prandaj shkurtimi mbetet thelbësor edhe pas pasurimit.
Shkurtimi i veçorive është thjesht fshirja e kolonave në mënyrë të rastësishme.
Shkurtimi efektiv përdor teste statistikore, rezultate rëndësie të bazuara në model ose ekspertizë në domen për të identifikuar veçoritë vërtet të padobishme. Fshirja e rastësishme pothuajse me siguri do të hiqte sinjalin e vlefshëm së bashku me zhurmën.
Pasurimi i veçorive përmirëson gjithmonë saktësinë.
Pasurimi ndihmon vetëm kur veçoritë e reja mbartin informacion të vërtetë parashikues. Shtimi i veçorive të projektuara të parëndësishme ose të tepërta mund ta degradojë performancën e modelit po aq lehtë sa mund ta përmirësojë atë.
Duhet të zgjedhësh një strategji ose tjetrën.
Në kanalet e të mësuarit automatik të botës reale, pasurimi dhe shkurtimi janë hapa plotësues. Ekipet zakonisht pasurojnë të dhënat e papërpunuara së pari, pastaj shkurtojnë grupin e zgjeruar të veçorive për të mbajtur vetëm atë që vërtet nxit parashikimet.
Shkurtimi i bën modelet më pak të sakta sipas përkufizimit.
Shkurtimi largon veçoritë që dëmtojnë përgjithësimin, kështu që shkurtimi i ekzekutuar mirë shpesh përmirëson saktësinë e grupit të testimit. Qëllimi nuk është të minimizohen veçoritë në mënyrë arbitrare, por të mbahen vetëm ato që kontribuojnë në mënyrë kuptimplote në parashikime.
Zgjidhni shkurtimin e veçorive kur modeli juaj është i mbingarkuar, trajnohet shumë ngadalë ose ka vështirësi me të dhëna me dimensione të larta. Zgjidhni pasurimin e veçorive kur saktësia po bie në vend sepse të dhënave tuaja u mungon konteksti i nevojshëm për të kapur modelet e botës reale. Në shumicën e rrjedhave të punës së prodhimit, rruga më e zgjuar është të pasuroheni me kujdes dhe më pas të shkurtoni në mënyrë agresive për të gjetur ekuilibrin optimal.
Agregimi i preferencave kombinon preferenca të shumta individuale në vendime kolektive, ndërsa modelimi i parashikimit individual parashikon sjelljen personale duke përdorur të mësuarit automatik në të dhënat e një përdoruesi të vetëm. Të dyja shërbejnë për qëllime të dallueshme në sistemet e inteligjencës artificiale, nga motorët e rekomandimeve deri te platformat demokratike të votimit.
Ky krahasim arkitektonik vë në kontrast inxhinierinë deterministe të Agjentëve të Bazuar në Rregulla me natyrën adaptive të të dhënave të Agjentëve të Bazuar në Mësim, duke vlerësuar zbatueshmërinë e tyre në botën reale, kufijtë e shkallëzimit dhe performancën në kushte pasigurie.
Ky udhëzues i detajuar shqyrton ndryshimet strukturore dhe operacionale midis agjentëve autonomë dhe sistemeve të automatizimit të skriptuar. Ndërsa mjetet e skriptuara ofrojnë parashikueshmëri të pakrahasueshme për rrjedha pune të ngurta dhe përsëritëse, agjentët inteligjentë modernë shfrytëzojnë arsyetimin kognitiv për të lundruar në mënyrë të pavarur në të dhëna të ndryshueshme, pengesa teknike të papritura dhe peizazhe të dhënash shumë komplekse dhe të pastrukturuara.
Agjentët autonomë të IA-së veprojnë në mënyrë të pavarur duke planifikuar, arsyetuar dhe ekzekutuar detyra shumë-hapëshe me ndërhyrje minimale njerëzore, ndërsa sistemet e IA-së të bazuara në shpejtësi u përgjigjen udhëzimeve individuale të përdoruesit, një ndërveprim në të njëjtën kohë. Dallimi kryesor qëndron në agjenci: agjentët ndjekin qëllimet nëpër seanca, ndërsa sistemet e shpejtësisë presin për drejtim.
Agjentët bisedorë përqendrohen në dialogun natyror dhe ndërveprimet e bazuara në tekst, ndërsa agjentët që përdorin mjete zgjerojnë aftësitë e IA-së duke thirrur funksione dhe API të jashtme. Të dy përfaqësojnë qasje të dallueshme ndaj sistemeve autonome të IA-së, me modelet bisedore që shkëlqejnë në komunikim dhe agjentët që përdorin mjete të specializuar në ekzekutimin e detyrave në botën reale.
