Masinõppes mõjutavad nii andmete kvaliteet kui ka andmete kvantiteet mudeli toimivust, kuid need mõjutavad eri suundi. Kvaliteet viitab sellele, kui puhtad, asjakohased ja hästi märgistatud on teie treeningandmed, samas kui kvantiteet keskendub mahule. Parimad tulemused saadakse tavaliselt mõlema tasakaalustamisel, kuigi uuringud näitavad üha enam, et kvaliteet võidab sageli.
Mõõdik, mis näitab, kui puhtad, täpsed, asjakohased ja hästi märgistatud on masinõppemudelite treeningandmed.
Masinõppe ja süvaõppe mudelite treenimiseks kasutatavate andmekogumite kogumaht või suurus.
| Funktsioon | Andmete kvaliteet | Andmete hulk treeningus |
|---|---|---|
| Definitsioon | Koolitusnäidete puhtus, täpsus ja asjakohasus | Koolituseks saadaolevate näidete kogumaht |
| Peamine kasu | Parem üldistus representatiivsetest, müravabadest andmetest | Laiem mustrite ulatus mitmekesiste näidete põhjal |
| Maksumus | Suur inimtööjõud sildistamise ja puhastamise jaoks | Kõrged arvutus- ja salvestustaristu kulud |
| Mõju ülepakutavusele | Vähendab üleliigset sobitamist täpse signaali abil | Vähendab üleliigset sobitamist andmete mitmekesisuse kaudu |
| Skaleeritavus | Raskem skaleerida – nõuab eksperdiarvamust | Lihtsam skaleerida veebi kraapimise ja automatiseerimise abil |
| Mõõtmine | Veamäärad, siltide vastavus, täielikkuse skoorid | Näidiste, märgiste või baitide arv |
| Parima jaoks | Spetsialiseeritud valdkonnad nagu meditsiin või õigusteadus | Üldotstarbelised mudelid, mis vajavad laiaulatuslikke teadmisi |
| Riski hooletusse jätmine | Mudelid õpivad mürast valesid mustreid | Mudelid ebaõnnestuvad harvadel või nähtamatutel juhtudel |
Andmete kvaliteedi uurijad käsitlevad iga treeningnäidet väärtuslikuna, keskendudes sellele, kas see õpetab mudelile midagi õiget ja kasulikku. Andmete kvantiteedi uurijad on vastupidisel seisukohal, väites, et piisavast hulgast keskpärastest näidetest saab lõpuks midagi kasulikku. Mõlemal filosoofial on oma väärtus ja tänapäevased tehisintellekti uuringud käsitlevad neid üha enam pigem üksteist täiendavate kui vastandlike jõududena.
Piiratud ressursside korral annab kvaliteeti investeerimine tavaliselt kiiremat tulu kui mahu tagaajamine. 10 000 laitmatu meditsiinilise pildi peal treenitud mudel on sageli edukam kui miljoni mürarikka pildi peal treenitud mudel. Kui aga kvaliteet jõuab mõistliku läveni, parandab uute näidete lisamine jõudlust jätkuvalt – eriti alusmudelite puhul, mis vajavad laialdasi teadmisi maailmast.
Kvaliteetsed andmed on kallid, sest inimesed peavad iga näidet üle vaatama, sildistama ja valideerima, mis nõuab sageli valdkonnaalaseid teadmisi. Kogus on aga kallis teistmoodi – petabaitide teabe salvestamine ja töötlemine nõuab tõsist infrastruktuuri. Ettevõtted, mis ehitavad tootmisotstarbelisi tehisintellekti süsteeme, leiavad sageli, et kvaliteedi parandamine maksab näite kohta rohkem, kuid annab väiksemas mastaabis parema investeeringutasuvuse.
Kitsastes valdkondades nagu radioloogia või juriidiliste dokumentide läbivaatamine domineerib kvaliteet, kuna mudel vajab konkreetse ülesande puhul täpsust. Üldotstarbeliste vestlusrobotite või pildigeneraatorite puhul on kvantiteet olulisem, kuna mudel peab käsitlema lugematul hulgal teemasid ja stiile. Õige tasakaal muutub olenevalt sellest, kas lood spetsialisti või generalisti.
2023. aasta „DataComp” võrdlusuuring näitas, et suure andmestiku filtreerimine selle kõrgeima kvaliteediga alamhulgani andis paremaid mudeleid kui kõige muu kasutamine. Samal ajal tõestas Chinchilla skaleerimisartikkel, et kvantiteet on endiselt oluline – mudelid vajavad oma potentsiaali saavutamiseks umbes 20 treeningandmete tokenit parameetri kohta. Mõlemad tulemused viitavad sellele, et tegelik küsimus ei ole mitte kvaliteet versus kvantiteet, vaid see, kuidas ressursse nende vahel jaotada.
Rohkem andmeid tähendab alati paremat mudelit.
Mitte tingimata. Kui lisaandmed on mürarikkad, valesti märgistatud või ebaolulised, võib see tegelikult jõudlust kahjustada. Uuringud on korduvalt näidanud, et väiksem ja puhtam andmestik annab sageli täpsemaid mudeleid kui suurem ja segasem. Kvaliteedi filtreerimine enne treenimist on peaaegu alati kasulik.
Andmete kvaliteet on oluline ainult väikeste andmekogumite puhul.
Kvaliteet on oluline igal skaalal. Isegi miljardite näidete peal treenitud mudelid kannatavad, kui olulised osad sisaldavad vigu või eelarvamusi. Suured mudelid suudavad meelde jätta müra, mis seejärel juurutamise ajal ootamatutel ja kahjulikel viisidel pinnale tuleb.
Märgistatud andmed on alati paremad kui märgistamata andmed.
See sõltub ülesandest ja märgistamise kvaliteedist. Halvasti märgistatud andmed võivad olla halvemad kui üldse mitte märgistatud andmed, samas kui tohutu hulk märgistamata andmeid võib toita iseseisevõppe süsteeme, mis konkureerivad juhendatud lähenemisviisidega. Märgistuse kvaliteet on olulisem kui lihtsalt märgistuse olemasolu.
Kasuliku mudeli treenimiseks on vaja miljoneid näiteid.
Ülekantav õpe on seda dramaatiliselt muutnud. Eelnevalt treenitud mudelite, näiteks BERTi või ResNeti abil saate saavutada tugevaid tulemusi vaid sadade või tuhandete kvaliteetsete näidetega oma valdkonnas. Aeg, mil iga ülesande jaoks oli vaja massiivseid kohandatud andmekogumeid, on suures osas möödas.
Andmete hulk ja kvaliteet on vastandjõud.
Tegelikult täiendavad nad teineteist. Parimad treeningkanalid maksimeerivad mõlemat – kogudes võimalikult palju andmeid, samal ajal agressiivselt kvaliteeti filtreerides. Nende käsitlemine kompromissina on vale dilemma, mis viib optimaalsetest madalamate otsusteni.
Valige andmekvaliteet, kui töötate spetsialiseeritud valdkonnas, teil on piiratud eelarve või vajate kitsa ülesande jaoks suurt täpsust. Investeerige andmete kvantiteedisse, kui loote üldotstarbelisi mudeleid, mis peavad käsitlema mitmesuguseid sisendeid, või kui olete oma praeguses mastaabis kvaliteedi juba maksimeerinud. Praktikas ühendavad tugevaimad tehisintellekti süsteemid mõlemad – suurte andmekogumite kureerimise ja müra agressiivse filtreerimise.
Mudeliteenuse A/B-testimine suunab liiklust konkureerivate mudeliversioonide vahel, et mõõta reaalset toimivust, samas kui ühe mudeli juurutamine saadab kõigile kasutajatele ühe mudeli. Meeskonnad valivad nende vahel riskitaluvuse, liiklusmahu ja statistilise valideerimise vajaduse alusel enne täielikku juurutamist.
Sisuväljaannete A/B-testimine hõlmab variatsioonide levitamist erinevatele sihtrühmadele ja tulemuslikkuse mõõtmist, samas kui ühekordsed sisuväljaanded suunavad ühe versiooni korraga kõigile. Igal lähenemisviisil on erinevad eesmärgid, kusjuures A/B-testimine eelistab andmepõhist optimeerimist ja ühekordsed väljaanded seavad esikohale kiiruse ja lihtsuse.
See detailne võrdlus uurib adaptiivsete intelligentsete mootorite arhitektuurilisi erinevusi, operatsioonilisi piiranguid ja reaalset jõudlust võrreldes fikseeritud käitumisega automatiseerimissüsteemidega. Vaatleme, kuidas süsteemid, mis pidevalt õpivad uutest keskkonnaandmetest, sobivad kokku jäikade ja ennustatavate reeglipõhiste raamistikega.
Adaptiivne otsing kohandab dünaamiliselt, kuidas ja millist teavet süsteem päringu põhjal hangib, samas kui staatilised otsingukanalid järgivad fikseeritud reegleid olenemata kontekstist. Mõlemad toetavad tänapäevaseid tehisintellekti rakendusi, kuid erinevad oluliselt paindlikkuse, maksumuse ja täpsuse poolest. Nende vahel valimine sõltub töökoormuse keerukusest ja eelarvest.
Agentide koolitamine keskkondades hõlmab õppimist reaalajas simuleeritud või füüsilise keskkonnaga suhtlemise kaudu, samas kui võrguühenduseta andmestiku koolitamine tugineb eelnevalt kogutud andmetele ilma täiendava keskkonnale juurdepääsuta. Mõlemad lähenemisviisid treenivad masinõppe mudeleid, kuid erinevad põhimõtteliselt selle poolest, kuidas agendid kogemusi koguvad ja jõudlust parandavad.
