Mašīnmācībā modeļa veiktspēju ietekmē gan datu kvalitāte, gan datu kvantitāte, taču tie darbojas dažādos virzienos. Kvalitāte attiecas uz to, cik tīri, atbilstoši un labi marķēti ir jūsu apmācības dati, savukārt kvantitāte koncentrējas uz apjomu. Vislabākos rezultātus parasti iegūst, līdzsvarojot abus, lai gan pētījumi arvien vairāk liecina, ka kvalitāte bieži vien uzvar.
Mērījums, kas raksturo, cik tīri, precīzi, atbilstoši un labi marķēti ir apmācības dati mašīnmācīšanās modeļiem.
Mašīnmācīšanās un dziļās mācīšanās modeļu apmācībai izmantoto datu kopu kopējais apjoms vai lielums.
| Funkcija | Datu kvalitāte | Datu daudzums apmācībā |
|---|---|---|
| Definīcija | Apmācības piemēru tīrība, precizitāte un atbilstība | Apmācībai pieejamo piemēru kopējais skaits |
| Galvenais ieguvums | Labāka vispārināšana no reprezentatīviem, bez trokšņiem datiem | Plašāks modeļu pārklājums no dažādiem piemēriem |
| Izmaksas | Liels cilvēku darbaspēka apjoms marķēšanai un tīrīšanai | Augstas skaitļošanas un uzglabāšanas infrastruktūras izmaksas |
| Ietekme uz pārmontēšanu | Samazina pārregulēšanu, pateicoties precīzam signālam | Samazina pārmērīgu pielāgošanu, izmantojot datu daudzveidību |
| Mērogojamība | Grūtāk mērogojams — nepieciešama eksperta pārskatīšana | Vieglāk mērogot, izmantojot tīmekļa datu ieguvi un automatizāciju |
| Mērīšana | Kļūdu biežums, etiķešu atbilstība, pilnīguma rādītāji | Paraugu, žetonu vai baitu skaits |
| Vislabāk piemērots | Specializētas jomas, piemēram, medicīna vai tiesības | Vispārējas nozīmes modeļi, kuriem nepieciešamas plašas zināšanas |
| Risks, ja to neņem vērā | Modeļi no trokšņa apgūst nepareizus modeļus | Modeļi neizdodas retos vai neredzētos gadījumos |
Datu kvalitātes speciālisti katru apmācības piemēru uzskata par vērtīgu, koncentrējoties uz to, vai tas iemāca modelim kaut ko pareizu un noderīgu. Datu kvantitātes speciālisti pauž pretēju viedokli, apgalvojot, ka pietiekami daudz viduvēju piemēru galu galā veidos kaut ko noderīgu. Abām filozofijām ir savas vērtības, un mūsdienu mākslīgā intelekta pētījumi arvien vairāk tos uzskata par savstarpēji papildinošiem, nevis pretējiem spēkiem.
Ja resursi ir ierobežoti, ieguldījumi kvalitātē parasti sniedz ātrāku atdevi nekā apjoma dzenāšanās. Modelis, kas apmācīts ar 10 000 nevainojamiem medicīniskiem attēliem, bieži vien ir labāks par modeli, kas apmācīts ar miljonu trokšņainu attēlu. Tomēr, tiklīdz kvalitāte sasniedz saprātīgu slieksni, vairāk piemēru pievienošana turpina uzlabot veiktspēju, īpaši pamata modeļiem, kuriem nepieciešamas plašas zināšanas par pasauli.
Kvalitatīvi dati ir dārgi, jo cilvēkiem ir jāpārskata, jāapzīmē un jāapstiprina katrs piemērs, kam bieži vien ir nepieciešamas zināšanas attiecīgajā jomā. Datu daudzums ir dārgs citādā veidā — petabaitu informācijas glabāšanai un apstrādei ir nepieciešama nopietna infrastruktūra. Uzņēmumi, kas veido ražošanas mākslīgā intelekta sistēmas, bieži vien atklāj, ka kvalitātes uzlabojumi izmaksā vairāk par piemēru, bet mazākā mērogā nodrošina labāku ieguldījumu atdevi.
Šaurās jomās, piemēram, radioloģijā vai juridisko dokumentu pārskatīšanā, kvalitāte dominē, jo modelim ir nepieciešama precizitāte konkrētā uzdevumā. Vispārējas nozīmes tērzēšanas robotiem vai attēlu ģeneratoriem kvantitātei ir lielāka nozīme, jo modelim ir jāapstrādā neskaitāmas tēmas un stili. Pareizais līdzsvars mainās atkarībā no tā, vai veidojat speciālistu vai universālu modeli.
2023. gada “DataComp” etalons parādīja, ka liela datu kopuma filtrēšana līdz tā augstākās kvalitātes apakškopai radīja labākus modeļus nekā visa datu kopuma izmantošana. Tikmēr Chinchilla mērogošanas pētījums pierādīja, ka kvantitātei joprojām ir nozīme — modeļiem, lai sasniegtu savu potenciālu, ir nepieciešami aptuveni 20 apmācības datu žetoni uz katru parametru. Abi atklājumi liecina, ka patiesais jautājums nav kvalitāte pretstatā kvantitātei, bet gan tas, kā sadalīt resursus starp tiem.
Vairāk datu vienmēr nozīmē labāku modeli.
Ne obligāti. Ja papildu dati ir trokšņaini, nepareizi apzīmēti vai neatbilstoši, tas faktiski var kaitēt veiktspējai. Pētījumi ir atkārtoti parādījuši, ka mazāks, tīrāks datu kopums bieži vien rada precīzākus modeļus nekā lielāks, nekārtīgāks. Kvalitātes filtrēšana pirms apmācības gandrīz vienmēr ir izdevīga.
Datu kvalitātei ir nozīme tikai nelielām datu kopām.
Kvalitātei ir nozīme jebkurā mērogā. Pat modeļi, kas apmācīti ar miljardiem piemēru, cieš, ja ievērojamās daļās ir kļūdas vai neobjektivitātes. Lieli modeļi var iegaumēt troksni, kas pēc tam izvietošanas laikā negaidītā un kaitīgā veidā parādās.
Marķēti dati vienmēr ir labāki par nemarķētiem datiem.
Tas ir atkarīgs no uzdevuma un marķēšanas kvalitātes. Slikti marķēti dati var būt sliktāki nekā vispār nekādi marķējumi, savukārt milzīgs daudzums nemarķētu datu var darbināt pašvadītas mācīšanās sistēmas, kas konkurē ar uzraudzītām pieejām. Marķējuma kvalitāte ir svarīgāka par vienkāršu marķējuma klātbūtni.
Lai apmācītu noderīgu modeli, ir nepieciešami miljoniem piemēru.
Mācīšanās no vienas platformas to ir ievērojami mainījusi. Izmantojot iepriekš apmācītus modeļus, piemēram, BERT vai ResNet, jūs varat sasniegt labus rezultātus, izmantojot tikai simtiem vai tūkstošiem augstas kvalitātes piemēru jūsu konkrētajā jomā. Laikmets, kad katram uzdevumam bija nepieciešami milzīgi pielāgoti datu kopumi, lielākoties ir beidzies.
Datu daudzums un kvalitāte ir pretēji spēki.
Patiesībā tie viens otru papildina. Labākie apmācību kanāli maksimāli palielina abus — apkopo pēc iespējas vairāk datu, vienlaikus agresīvi filtrējot, lai nodrošinātu kvalitāti. Uztvert tos kā kompromisu ir maldīga dilemma, kas noved pie neoptimāliem lēmumiem.
Izvēlieties datu kvalitāti, ja strādājat specializētā jomā, jums ir ierobežots budžets vai nepieciešama augsta precizitāte šauram uzdevumam. Ieguldiet datu apjomā, veidojot vispārējas nozīmes modeļus, kuriem jāapstrādā dažādi ievades dati, vai ja jau esat maksimāli palielinājis kvalitāti pašreizējā mērogā. Praksē spēcīgākās mākslīgā intelekta sistēmas apvieno abus — lielu datu kopu veidošanu, vienlaikus agresīvi filtrējot troksni.
A/B testēšana modeļu apkalpošanā novirza trafiku starp konkurējošām modeļu versijām, lai novērtētu reālo veiktspēju, savukārt viena modeļa ieviešana visiem lietotājiem nosūta vienu modeli. Komandas izvēlas starp tiem, pamatojoties uz riska toleranci, trafika apjomu un statistiskās validācijas nepieciešamību pirms pilnīgas ieviešanas.
A/B testēšana satura izlaidumos ietver variāciju ieviešanu dažādiem auditorijas segmentiem un veiktspējas mērīšanu, savukārt vienreizēji satura izlaidumi vienlaikus nodrošina vienu versiju visiem lietotājiem. Katra pieeja atbilst dažādiem mērķiem, A/B testēšanai dodot priekšroku uz datiem balstītai optimizācijai, bet vienreizējiem izlaidumiem prioritāte ir ātrums un vienkāršība.
Adaptīvā izguve dinamiski pielāgo, kā un kādu informāciju sistēma izgūst, pamatojoties uz vaicājumu, savukārt statiskās izguves cauruļvadi ievēro fiksētus noteikumus neatkarīgi no konteksta. Abas nodrošina modernas mākslīgā intelekta lietojumprogrammas, taču tās ievērojami atšķiras pēc elastības, izmaksām un precizitātes. Izvēle starp tām ir atkarīga no darba slodzes sarežģītības un budžeta.
Šajā detalizētajā salīdzinājumā tiek pētītas adaptīvo intelekta dzinēju arhitektūras atšķirības, darbības ierobežojumi un reālā veiktspēja salīdzinājumā ar fiksētas uzvedības automatizācijas sistēmām. Mēs aplūkojam, kā sistēmas, kas nepārtraukti mācās no jauniem vides datiem, atbilst stingrām, paredzamām, uz noteikumiem balstītām sistēmām.
Aģentu apmācība vidēs ietver mācīšanos, izmantojot reāllaika mijiedarbību ar simulētu vai fizisku vidi, savukārt bezsaistes datu kopu apmācība balstās uz iepriekš apkopotiem datiem bez papildu piekļuves videi. Abas pieejas apmāca mašīnmācīšanās modeļus, taču būtiski atšķiras tas, kā aģenti apkopo pieredzi un uzlabo veiktspēju.
