Lai gan liels datu apjoms kādreiz bija galvenais mērķis jaudīga mākslīgā intelekta veidošanā, tagad uzmanības centrā ir augstas precizitātes datu kopas. Kvalitāte uzsver informācijas precizitāti un atbilstību, savukārt kvantitāte nodrošina statistisko plašumu, kas nepieciešams dziļās mācīšanās modeļiem, lai tos varētu vispārināt sarežģītos, reālās pasaules scenārijos.
Mērījums, kas norāda, cik precīzs, tīrs un reprezentatīvs ir datu kopums konkrētam uzdevumam.
Individuālo novērojumu vai datu punktu apjoms, kas pieejams algoritmam apstrādei.
| Funkcija | Datu kvalitāte | Datu daudzums |
|---|---|---|
| Galvenais mērķis | Precizitāte un uzticamība | Dažādība un vispārināšana |
| Treniņa ātrums | Ātra konverģence | Lēns un resursietilpīgs |
| Ideāls modeļa tips | Tradicionālā mašīnmācīšanās (SVM, koki) | Dziļā mācīšanās (neironu tīkli) |
| Galvenais risks | Neliela izlases neobjektivitāte | Algoritmiskā neobjektivitāte un troksnis |
| Iegādes izmaksas | Augsts (manuāla marķēšana) | Mainīgais (automatizēta nokasīšana) |
| Ietekme uz loģiku | Skaidrāka cēloņsakarība | Atklāj slēptās korelācijas |
Gadiem ilgi nozare ievēroja "mērogošanas likumus", kas liecināja, ka vairāk datu gandrīz vienmēr nodrošina labāku sniegumu. Tomēr pētnieki atklāj, ka zemas kvalitātes datu pievienošana faktiski pasliktina modeļa spriešanas spēju. Iedomājieties to kā studentu, kurš lasa desmit augstas kvalitātes mācību grāmatas, salīdzinot ar tūkstoš slikti uzrakstītiem emuāra ierakstiem; izpratnes dziļums parasti dod priekšroku pirmajam.
Augsta kvantitātes pieeja pieņem, ka troksnis galu galā "izzudīs" miljoniem paraugu. Lai gan tas darbojas vienkāršu uzdevumu veikšanai, uz kvalitāti vērsta apmācība proaktīvi novērš novirzes, kas varētu novest modeli pie kļūdainiem secinājumiem. Augstas likmes jomās, piemēram, medicīniskajā diagnostikā, viens perfekti marķēts attēls bieži vien ir vairāk vērts nekā tūkstoš izplūdušu attēlu.
Apmācība ar milzīgiem datu kopumiem ir neticami dārga, jo tai nepieciešamas vairākas nedēļas ilgas grafikas procesora (GPU) darbības un milzīgs enerģijas patēriņš. Izstrādātāji, kas veido mazāku, augstas kvalitātes datu kopu, bieži vien var sasniegt līdzīgus vai pat labākus rezultātus ar nelielu aparatūras resursu apjomu. Šī pāreja padara sarežģītu mākslīgo intelektu pieejamāku mazākām organizācijām, kas nevar atļauties milzīgas serveru fermas.
Daudzuma metode izceļas ar “garās astes” — to reto notikumu, kas notiek tikai reizi no miljona — tveršanu. Pat tīrākais mazais datu kopums var palaist garām šos kritiskos robežgadījumus. Lai izveidotu patiesi robustu sistēmu, piemēram, pašbraucošu automašīnu, ir nepieciešams milzīgs datu apjoms, lai nodrošinātu, ka modelis ir redzējis visus iespējamos dīvainos laika apstākļus vai satiksmes scenārijus.
Ja man ir pietiekami daudz datu, kvalitātei nav nozīmes.
Šis ir bīstams slazds. Slikti dati noved pie "neobjektivitātes pastiprināšanas", kur modelis mācās un pat pārspīlē kļūdas vai aizspriedumus, kas atrodas milzīgajā datu kopā.
Sintētiskie dati palīdz tikai ar kvantitāti.
Patiesībā augstas kvalitātes sintētiskie dati bieži tiek izmantoti, lai novērstu kvalitātes problēmas. Tie var līdzsvarot datu kopu, radot “ideālus” nepietiekami pārstāvētu grupu piemērus.
Datu tīrīšana ir vienreizējs uzdevums.
Datu kvalitāte ir nepārtraukts cikls. Mainoties reālās pasaules apstākļiem (datu novirzei), jums pastāvīgi jāpārliecinās, ka jūsu dati joprojām precīzi atspoguļo pašreizējo realitāti.
Mazas datu kopas nekad nevar pārspēt lielas.
Daudzos etalontestos modeļi, kas apmācīti ar 10% no datu kopas, rūpīgi atlasīti pēc "cietības" un kvalitātes, ir pārspējuši modeļus, kas apmācīti ar visiem 100%.
Izvēlieties datu kvalitātes pieeju, ja strādājat ar specializētām jomām, piemēram, jurisprudenci vai medicīnu, kur precizitāte nav apspriežama. Izvēlieties datu kvantitātes pieeju, veidojot vispārējas nozīmes modeļus, kuriem jāapstrādā plašs, neparedzams cilvēku ievades diapazons.
Kamēr astroloģiskā prognozēšana saista debesu ciklus ar cilvēku pieredzi, lai iegūtu simbolisku nozīmi, statistiskā prognozēšana analizē empīriskus vēsturiskus datus, lai novērtētu nākotnes skaitliskās vērtības. Šis salīdzinājums pēta plaisu starp seno, uz arhetipiem balstīto personīgās pārdomu sistēmu un moderno, uz datiem balstīto metodoloģiju, ko izmanto objektīvai lēmumu pieņemšanai uzņēmējdarbībā un zinātnē.
Šis salīdzinājums pēta aizraujošo plaisu starp senajiem debesu novērojumiem un mūsdienu paredzošo analītiku. Kamēr astroloģiskie tranzīti izmanto planētu ciklus, lai interpretētu personīgās izaugsmes fāzes, dzīves notikumu varbūtības modeļi balstās uz lieliem datiem un statistikas algoritmiem, lai prognozētu konkrētus pagrieziena punktus, piemēram, karjeras izmaiņas vai veselības aprūpes vajadzības.
Lai gan abas metodoloģijas kalpo digitālās veiktspējas optimizēšanai, tās darbojas uz principiāli atšķirīgiem tehnoloģiju slāņiem. Ātrā testēšana koncentrējas uz lingvistisko ievaddatu pilnveidošanu, kas vada ģeneratīvos mākslīgā intelekta modeļus, savukārt A/B testēšana nodrošina stingru statistisko sistēmu divu atšķirīgu tīmekļa lapas vai lietotnes funkcijas versiju salīdzināšanai, lai noskaidrotu, kura no tām labāk rezonē ar reāliem cilvēkiem.
Izvēle starp augstas frekvences datiem un apkopotiem datiem ir būtisks kompromiss analītikā. Lai gan neapstrādātas, mazāk nekā sekundes laikā apkopotas darījumu un sensoru plūsmas piedāvā nepārspējamu ieskatu tūlītējā uzvedībā un tirgus mikrostruktūrās, saspiesti laika apkopojumi novērš milzīgu statistisko troksni un lielas infrastruktūras prasības, lai atklātu skaidras, strukturālas ilgtermiņa tendences.
Izvēle starp automatizētu modeļu izsekošanu un manuālu eksperimentu izsekošanu būtiski ietekmē datu zinātnes komandas ātrumu un reproducējamību. Kamēr automatizācija izmanto specializētu programmatūru, lai nemanāmi uztvertu katru hiperparametru, metriku un artefaktu, manuālā izsekošana balstās uz cilvēka rūpību, izmantojot izklājlapas vai Markdown failus, radot krasu kompromisu starp iestatīšanas ātrumu un ilgtermiņa mērogojamu precizitāti.
