Mašininio mokymosi pasaulyje duomenų rinkiniai retai būna neutralūs. Šališkumo mažinimas apima aktyvią inžineriją, skirtą nustatyti ir neutralizuoti neteisingus iškraipymus, o šališkumo sustiprinimas yra pavojingas reiškinys, kai modeliai iš tikrųjų perdėtai padidina esamą nelygybę, dažnai darydami prognozes, kurios yra žymiai labiau diskriminuojančios nei ydingi duomenys, su kuriais jie buvo apmokyti.
Strateginės techninės intervencijos, skirtos nustatyti, sušvelninti ir subalansuoti sisteminį neteisingumą mokymo duomenyse ir modelio rezultatuose.
Nenumatytas procesas, kai mašininio mokymosi algoritmai sustiprina ir pernelyg indeksuoja esamus stereotipinius duomenyse rastus modelius.
| Funkcija | Duomenų rinkinio šališkumo mažinimas | Duomenų rinkinio šališkumo stiprinimas |
|---|---|---|
| Pagrindinis tikslas | Pasiekti teisingus ir sąžiningus rezultatus | Maksimaliai padidinkite nuspėjamąjį pasitikėjimą (netyčia) |
| Poveikis duomenų tendencijoms | Aktyviai išlygina nesąžiningas koreliacijas | Perdeda ir užkoduoja esamus iškraipymus |
| Metodologija | Duomenų papildymas, pakartotinis svėrimas ir auditai | Algoritminiai trumpieji klavišai ir indukcinis šališkumas |
| Išteklių intensyvumas | Aukštas; reikalauja ekspertų priežiūros ir kuravimo | Žemas; įvyksta automatiškai, jei nekontroliuojamas |
| Reguliavimo poveikis | Padeda laikytis ES Dirbtinio intelekto įstatymo ir BDAR reikalavimų | Padidina teisinių ir etinių sankcijų riziką |
| Ilgalaikis rezultatas | Tvirtas, apibendrinamas ir patikimas dirbtinis intelektas | Iškreipti, diskriminuojantys ir trapūs modeliai |
Šališkumo mažinimas yra sudėtingas uždavinys, nes dažnai reikia paaukoti nedidelį tikslumą, kad modelis sąžiningai traktuotų visas grupes. Kita vertus, amplifikacija vyksta natūraliai, nes algoritmai yra sukurti taip, kad rastų efektyviausią kelią į teisingą atsakymą, ir, deja, stereotipai dažnai pateikia statistiškai „lengvą“ kelią, kurį modelis pernelyg pritaiko.
Redukcija bando ištaisyti istorines klaidas, pavyzdžiui, kredito vertinimo modelius, kurie baudžia tam tikrus rajonus, rankiniu būdu koreguojant duomenų svorius. Amplifikacija paima tas pačias istorines klaidas ir paverčia jas skaitmeniniais dėsniais; jei modelis mato, kad tam tikrai grupei istoriškai buvo atsisakyta paskolų, jis gali nuspręsti, kad tai grupei *visada* jos turėtų būti atsisakyta, todėl ateitis bus dar griežtesnė nei praeitis.
Inžinieriai kovoja su šališkumo mažinimu trimis etapais: išankstinio apdorojimo (duomenų valymo), apdorojimo metu (matematinių skaičiavimų keitimas mokymo metu) ir papildomo apdorojimo (galutinių rezultatų koregavimas). Amplifikacija paprastai įsiterpia „apdorojimo“ etape, kai modelio noras sumažinti paklaidą verčia jį ignoruoti mažumos pavyzdžių „triukšmą“ daugumos „signalo“ naudai.
Bauginamiausia šališkumo amplifikacijos dalis yra jos gebėjimas laikui bėgant didėti. Jei šališkas įdarbinimo įrankis atfiltruoja įvairius kandidatus, „sėkmingų“ darbuotojų duomenys tampa dar mažiau įvairūs, todėl kita įrankio versija tampa dar griežtesnė. Tinkamos mažinimo strategijos nutraukia šį ciklą, pateikdamos „priešfaktinių“ pavyzdžių, kurie ginčija modelio prielaidas.
Jei naudosiu didžiulį duomenų rinkinį, šališkumas tiesiog panaikins save.
Iš tiesų, didesniuose duomenų rinkiniuose dažnai slypi subtilesni, sisteminiai šališkumai, kuriuos modeliai dar geriau išryškina. Apimtis nepakeičia įvairovės ar teisingumo.
Algoritmai yra neutralūs, nes jie tėra matematika.
Matematika yra neutrali, tačiau algoritmams keliami tikslai, pavyzdžiui, „maksimalus tikslumas“, sąveikauja su šališkais duomenimis ir sukuria šališkus rezultatus. „Neutralus“ kelias dažnai yra labiausiai diskriminuojantis.
Šališkumo mažinimas tėra „politinis korektiškumas“ dirbtiniam intelektui.
Tai iš tikrųjų yra techninė būtinybė; modeliai, kurie nesumažina šališkumo, realiame pasaulyje dažnai žlunga, nes negali apdoroti įvairių įvesties duomenų, todėl kyla didelio atgarsio gedimų ir prarandamos pajamos.
Pašalinus „jautrias“ skiltis, tokias kaip rasė ar lytis, sustabdomas šališkumas.
Tai yra „sąžiningumas per aklumą“, ir tai retai kada veikia. Modeliai gali lengvai nustatyti šiuos bruožus naudodamiesi pakaitiniais duomenimis, tokiais kaip pašto kodai, pirkimo įpročiai ar net sakinių struktūra.
Šališkumo mažinimas yra būtinas etinis ir techninis reikalavimas bet kokiam modeliui, sąveikaujančiam su žmonėmis arba priimančiam gyvenimą keičiančius sprendimus. Nors amplifikacija yra numatytasis daugumos neoptimizuotų algoritmų elgesys, aktyvus mažinimas yra vienintelis būdas sukurti dirbtinį intelektą, kuris būtų teisėtas ir patikimas šiuolaikinėje aplinkoje.
Astrologinės prognozės susieja dangaus ciklus su žmonių patirtimi siekiant simbolinės reikšmės, o statistinės prognozės analizuoja empirinius istorinius duomenis, kad įvertintų būsimas skaitines vertes. Šiame palyginime nagrinėjamas skirtumas tarp senovinės, archetipais pagrįstos asmeninių apmąstymų sistemos ir modernios, duomenimis pagrįstos metodologijos, naudojamos objektyviam sprendimų priėmimui versle ir moksle.
Šis palyginimas nagrinėja intriguojančią prarają tarp senovinių dangaus stebėjimų ir šiuolaikinės prognozinės analizės. Astrologiniai tranzitai naudoja planetų ciklus asmeninio augimo fazėms interpretuoti, o gyvenimo įvykių tikimybių modeliai remiasi dideliais duomenimis ir statistiniais algoritmais, kad numatytų konkrečius etapus, tokius kaip karjeros pokyčiai ar sveikatos priežiūros poreikiai.
Nors retrospektyvinė analizė veikia kaip organizacijos galinio vaizdo veidrodis, analizuodama istorinius įrašus, kad suprastų praeities sėkmes ir nesėkmes, ateities prognozavimo modeliai žvelgia pro priekinį stiklą, derindami statistinius algoritmus ir mašininį mokymąsi, kad numatytų būsimus rinkos pokyčius, klientų veiksmus ir veiklos kliūtis.
Pasirinkimas tarp aukšto dažnio duomenų ir apibendrintų duomenų yra esminis kompromisas analitikoje. Nors neapdoroti, per sekundę gaunami sandoriai ir jutiklių srautai suteikia neprilygstamą tiesioginio elgesio ir rinkos mikrostruktūrų matomumą, suspausti laiko apibendrinimai pašalina didžiulį statistinį triukšmą ir didelius infrastruktūros poreikius, kad būtų galima atskleisti aiškias, struktūrines ilgalaikes tendencijas.
Pasirinkimas tarp automatinio modelių sekimo ir rankinio eksperimentų sekimo iš esmės lemia duomenų mokslo komandos greitį ir atkuriamumą. Nors automatizavimas naudoja specializuotą programinę įrangą, kad sklandžiai užfiksuotų kiekvieną hiperparametrą, metriką ir artefaktą, rankinis sekimas priklauso nuo žmogaus kruopštumo naudojant skaičiuokles arba „markdown“ failus, todėl reikia rasti griežtą kompromisą tarp sąrankos greičio ir ilgalaikio keičiamo tikslumo.
