Kuigi võimsa tehisintellekti loomisel oli kunagi peamine eesmärk suur andmemaht, on fookus nihkunud suure täpsusega andmekogumite poole. Kvaliteet rõhutab teabe täpsust ja asjakohasust, samas kui kvantiteet annab statistilise ulatuse, mida süvaõppe mudelid vajavad üldistamiseks keerukate reaalsete stsenaariumide korral.
Mõõdik, mis näitab, kui täpne, puhas ja esinduslik on andmestik konkreetse ülesande jaoks.
Algoritmi töötlemiseks saadaolevate üksikute vaatluste või andmepunktide maht.
| Funktsioon | Andmete kvaliteet | Andmete hulk |
|---|---|---|
| Peamine eesmärk | Täpsus ja usaldusväärsus | Mitmekesisus ja üldistamine |
| Treeningu kiirus | Kiire lähenemine | Aeglane ja ressursimahukas |
| Ideaalne mudelitüüp | Traditsiooniline masinõpe (SVM, puud) | Sügavõpe (närvivõrgud) |
| Peamine risk | Väike valimi kallutatus | Algoritmiline eelarvamus ja müra |
| Soetusmaksumus | Kõrge (käsitsi märgistamine) | Muutuja (automatiseeritud kraapimine) |
| Mõju loogikale | Selgem põhjus-tagajärg | Avastab varjatud seoseid |
Aastaid järgis tööstusharu nn skaleerimisseadusi, mis näitasid, et rohkem andmeid viib peaaegu alati parema tulemuseni. Teadlased on aga leidnud, et madala kvaliteediga andmete lisamine tegelikult halvendab mudeli arutluskäiku. Mõelge sellest kui õpilasest, kes loeb kümmet kvaliteetset õpikut tuhande halvasti kirjutatud ajaveebipostituse asemel; arusaamise sügavus soosib tavaliselt esimest.
Suure kvantiteediga lähenemine eeldab, et müra lõpuks miljonite proovide puhul "tühjeneb". Kuigi see toimib lihtsate ülesannete puhul, eemaldab kvaliteedile keskendunud treenimine ennetavalt kõrvalekalded, mis võivad mudelit valede järeldusteni viia. Kõrge riskiga valdkondades, nagu meditsiiniline diagnostika, on üks ideaalselt märgistatud pilt sageli väärtuslikum kui tuhat udune pilt.
Massiivsete andmekogumite koolitamine on uskumatult kulukas, nõudes nädalaid graafikaprotsessori aega ja tohutut energiatarbimist. Väiksema ja kvaliteetsema andmekogumi kureerimise abil saavad arendajad sageli saavutada sarnaseid või paremaid tulemusi murdosa riistvaraga. See nihe muudab keeruka tehisintellekti kättesaadavamaks väiksematele organisatsioonidele, kes ei saa endale lubada suuri serverifarme.
Quantity on suurepärane nn pika saba tabamisel – need haruldased sündmused, mis juhtuvad vaid kord miljoni korra kohta. Isegi kõige puhtam väike andmestik võib need kriitilised servajuhud kahe silma vahele jätta. Tõeliselt robustse süsteemi, näiteks isejuhtiva auto, loomiseks on vaja tohutut andmemahtu, et tagada mudelis nähtud kõikvõimalikud veidrad ilmastikuolud või liiklusolukorrad.
Kui mul on piisavalt andmeid, siis pole kvaliteedil tähtsust.
See on ohtlik lõks. Halvad andmed viivad „eelarvamuste võimendumiseni“, kus mudel õpib ja isegi liialdab tohutus andmestikus esinevaid vigu või eelarvamusi.
Sünteetilised andmed aitavad ainult kvantiteedi puhul.
Tegelikult kasutatakse kvaliteetseid sünteetilisi andmeid sageli kvaliteediprobleemide lahendamiseks. Need võivad andmestikku tasakaalustada, luues alaesindatud rühmade „täiuslikke” näiteid.
Andmete puhastamine on ühekordne ülesanne.
Andmete kvaliteet on pidev tsükkel. Kuna reaalsed tingimused muutuvad (andmete triiv), peate pidevalt uuesti kontrollima, et teie andmed kajastaksid endiselt täpselt praegust reaalsust.
Väikesed andmekogumid ei saa kunagi suuri ületada.
Paljudes võrdlustestides on mudelid, mida on treenitud 10% andmestikul – mis on hoolikalt valitud „kõvaduse” ja kvaliteedi järgi –, ületanud 100% ulatuses treenitud mudeleid.
Valige andmekvaliteedile keskenduv lähenemisviis, kui töötate spetsialiseeritud valdkondades, nagu õigus või meditsiin, kus täpsus on vältimatu. Valige andmehulgale keskenduv lähenemisviis üldotstarbeliste mudelite loomisel, mis peavad käsitlema laia ja ettearvamatut hulka inimsisendeid.
Õige jälgitavusstrateegia valimine eeldab andmete kogumise ja töötlemise mõistmist. Kui aegridade jälgimine jälgib numbrilisi süsteemi mõõdikuid regulaarsete intervallidega, et paljastada pikaajalisi tervisetrende, siis sündmustepõhine jälgimine jäädvustab koheselt diskreetseid oleku muutusi, et käivitada kohesed programmilised vastused, muutes nende arhitektuurilised kujundused põhimõtteliselt erinevaks.
Masinõppe maailmas on andmekogumid harva neutraalsed. Eelarvamuste vähendamine hõlmab ennetavat kavandamist ebaõiglaste moonutuste tuvastamiseks ja neutraliseerimiseks, samas kui eelarvamuste võimendamine on ohtlik nähtus, kus mudelid tegelikult liialdavad olemasolevaid ebavõrdsusi, tehes sageli ennustusi, mis on oluliselt diskrimineerivamad kui vigased andmed, mille põhjal neid treeniti.
Kaasaegse analüütika keerulises maastikus on tõe eristamine segadusest ülim väljakutse. Samal ajal kui andmemüra filtreerimine keskendub juhuslike interferentside eemaldamisele, et paljastada puhas baasjoon, võimendavad signaali võimendamise meetodid aktiivselt peeneid mustreid, mis muidu võiksid kahe silma vahele jääda, tagades, et kriitilisi trende ei neelaks alla taustakaos.
See võrdlus uurib andmemüra ja signaali usaldusväärsuse vahelist kriitilist dünaamikat ärianalüütikas. Kuigi andmemüra toob kaasa juhuslikke kõikumisi, vigu ja ebaolulist teavet, mis pilvepõhiseid hinnanguid mõjutavad, esindab signaali usaldusväärsus usaldusväärseid alusmustreid, mis on vajalikud täpsete masinõppe ennustuste ja kindlate strateegiliste otsuste tegemiseks.
Andmepõhine idufirmade analüüs tugineb idufirmade hindamiseks mõõdetavatele näitajatele nagu kasv, tulu ja klientide hoidmine, samas kui narratiivis põhinev analüüs keskendub lugude jutustamisele, visioonile ja kvalitatiivsetele signaalidele. Mõlemat lähenemisviisi kasutavad investorid ja asutajad laialdaselt potentsiaali hindamiseks, kuid need erinevad selle poolest, kuidas tõendeid tõlgendatakse ja kuidas otsuseid põhjendatakse.
