strojovom učení ovplyvňujú výkon modelu kvalita aj kvantita údajov, ale pôsobia rôznymi smermi. Kvalita sa vzťahuje na to, aké čisté, relevantné a dobre označené sú vaše tréningové údaje, zatiaľ čo kvantita sa zameriava na samotný objem. Najlepšie výsledky zvyčajne vyplývajú z vyváženia oboch, hoci výskum čoraz viac ukazuje, že kvalita často víťazí.
Miera toho, ako čisté, presné, relevantné a dobre označené sú tréningové dáta pre modely strojového učenia.
Celkový objem alebo veľkosť súborov údajov použitých na trénovanie modelov strojového učenia a hlbokého učenia.
| Funkcia | Kvalita údajov | Množstvo údajov v tréningu |
|---|---|---|
| Definícia | Čistota, presnosť a relevantnosť príkladov školení | Celkový objem príkladov dostupných na školenie |
| Hlavný prínos | Lepšie zovšeobecnenie z reprezentatívnych údajov bez šumu | Širšie pokrytie vzorov z rôznych príkladov |
| Cena | Vysoká ľudská práca pri označovaní a čistení | Vysoké náklady na výpočtovú a úložnú infraštruktúru |
| Vplyv na preťaženie | Znižuje preťaženie vďaka presnému signálu | Znižuje preplnenie prostredníctvom diverzity údajov |
| Škálovateľnosť | Ťažšie škálovateľné – vyžaduje si odborné posúdenie | Jednoduchšie škálovanie vďaka webovému scrapingu a automatizácii |
| Meranie | Miera chybovosti, zhoda označení, skóre úplnosti | Počet vzoriek, tokenov alebo bajtov |
| Najlepšie pre | Špecializované oblasti ako medicína alebo právo | Univerzálne modely vyžadujúce široké znalosti |
| Riziko pri zanedbaní | Modely sa učia nesprávne vzorce z šumu | Modely zlyhávajú v zriedkavých alebo nevidených prípadoch |
Kvalita údajov vníma každý trénovací príklad ako cenný a zameriava sa na to, či model naučí niečo správne a užitočné. Kvantita údajov zastáva opačný názor a tvrdí, že dostatok priemerných príkladov nakoniec vyústi do niečoho užitočného. Obe filozofie majú svoje opodstatnenie a moderný výskum umelej inteligencie ich čoraz viac vníma ako doplnkové, a nie ako protichodné sily.
Keď máte obmedzené zdroje, investovanie do kvality zvyčajne prináša rýchlejšiu návratnosť ako naháňanie sa za objemom. Model trénovaný na 10 000 bezchybných lekárskych snímkach často prekoná model trénovaný na milióne zašumených snímok. Keď však kvalita dosiahne rozumnú hranicu, pridávanie ďalších príkladov naďalej zlepšuje výkon – najmä pri základných modeloch, ktoré vyžadujú široké znalosti sveta.
Kvalitné dáta sú drahé, pretože ľudia musia každý príklad skontrolovať, označiť a overiť, čo si často vyžaduje odborné znalosti v danej oblasti. Kvantita je drahá iným spôsobom – ukladanie a spracovanie petabajtov informácií si vyžaduje serióznu infraštruktúru. Spoločnosti, ktoré budujú produkčné systémy umelej inteligencie, často zisťujú, že zlepšenia kvality stoja viac na príklad, ale prinášajú lepšiu návratnosť investícií v menších mierkach.
V úzkych oblastiach, ako je rádiológia alebo kontrola právnych dokumentov, dominuje kvalita, pretože model vyžaduje presnosť pri konkrétnej úlohe. Pre všeobecné chatboty alebo generátory obrázkov je kvantita dôležitejšia, pretože model musí spracovať nespočetné množstvo tém a štýlov. Správna rovnováha sa mení v závislosti od toho, či vytvárate špecialistu alebo generalistu.
Benchmark „DataComp“ z roku 2023 ukázal, že filtrovanie veľkej množiny údajov až po jej najkvalitnejšiu podmnožinu vytvorilo lepšie modely ako použitie všetkých parametrov. Medzitým štúdia o škálovaní Chinchilla dokázala, že na kvantite stále záleží – modely potrebujú približne 20 tokenov trénovacích údajov na parameter, aby dosiahli svoj potenciál. Obe zistenia naznačujú, že skutočnou otázkou nie je kvalita verzus kvantita, ale to, ako medzi ne rozdeliť zdroje.
Viac údajov vždy znamená lepší model.
Nie nevyhnutne. Ak sú dodatočné údaje zašumené, nesprávne označené alebo irelevantné, môže to v skutočnosti znížiť výkon. Výskum opakovane ukázal, že menšia a čistejšia množina údajov často vytvára presnejšie modely ako väčšia a neprehľadnejšia. Filtrovanie kvality pred trénovaním je takmer vždy prospešné.
Kvalita údajov je dôležitá iba pre malé súbory údajov.
Kvalita je dôležitá v každom meradle. Dokonca aj modely trénované na miliardách príkladov trpia, keď významné časti obsahujú chyby alebo skreslenia. Veľké modely si dokážu zapamätať šum, ktorý sa potom počas nasadzovania prejaví neočakávaným a škodlivým spôsobom.
Označené dáta sú vždy lepšie ako neoznačené dáta.
Záleží to od úlohy a kvality označovania. Zle označené dáta môžu byť horšie ako žiadne označenia, zatiaľ čo obrovské množstvo neoznačených dát môže poháňať samoučiace sa systémy, ktoré konkurujú riadeným prístupom. Kvalita označení je dôležitejšia ako samotná prítomnosť označení.
Na trénovanie užitočného modelu potrebujete milióny príkladov.
Transferové učenie to dramaticky zmenilo. S vopred natrénovanými modelmi ako BERT alebo ResNet môžete dosiahnuť silné výsledky len so stovkami alebo tisíckami vysokokvalitných príkladov vo vašej špecifickej oblasti. Éra potreby rozsiahlych vlastných súborov údajov pre každú úlohu je z veľkej časti preč.
Množstvo a kvalita údajov sú protichodné sily.
V skutočnosti sa dopĺňajú. Najlepšie tréningové postupy maximalizujú oboje – zhromažďujú čo najviac údajov a zároveň agresívne filtrujú kvalitu. Považovať ich za kompromis je falošná dilema, ktorá vedie k suboptimálnym rozhodnutiam.
Zvoľte kvalitu dát, keď pracujete v špecializovanej oblasti, máte obmedzený rozpočet alebo potrebujete vysokú presnosť pri úzkej úlohe. Investujte do kvantity dát pri vytváraní univerzálnych modelov, ktoré musia spracovávať rôzne vstupy, alebo keď ste už maximalizovali kvalitu vo svojom súčasnom rozsahu. V praxi najsilnejšie systémy umelej inteligencie kombinujú oboje – spravujú veľké súbory dát a zároveň agresívne filtrujú šum.
A/B testovanie v modelových službách smeruje prevádzku medzi konkurenčnými verziami modelov na meranie reálneho výkonu, zatiaľ čo nasadenie jedného modelu poskytuje jeden model všetkým používateľom. Tímy si medzi nimi vyberajú na základe tolerancie rizika, objemu prevádzky a potreby štatistického overenia pred úplným nasadením.
A/B testovanie pri vydávaní obsahu zahŕňa zavádzanie variácií pre rôzne segmenty publika a meranie výkonnosti, zatiaľ čo jednorazové vydania obsahu ponúkajú jednu verziu všetkým naraz. Každý prístup vyhovuje iným cieľom, pričom A/B testovanie uprednostňuje optimalizáciu na základe dát a jednorazové vydania uprednostňujú rýchlosť a jednoduchosť.
Toto porovnanie analyzuje strategické voľby v strojovom učení medzi adaptáciou domény, ktorá prenáša znalosti z označeného zdrojového prostredia do iného cieľového prostredia, a školením v rámci domény, ktoré vytvára modely výlučne na základe údajov získaných z presného cieľového nastavenia nasadenia.
Toto podrobné porovnanie skúma architektonické rozdiely, prevádzkové limity a reálny výkon adaptívnych inteligenčných systémov v porovnaní so systémami automatizácie s pevným správaním. Pozrieme sa na to, ako systémy, ktoré sa neustále učia z nových environmentálnych údajov, fungujú v porovnaní s rigidnými, predvídateľnými rámcami založenými na pravidlách.
Adaptívne vyhľadávanie dynamicky upravuje spôsob a aké informácie systém načítava na základe dotazu, zatiaľ čo statické vyhľadávacie kanály sa riadia pevnými pravidlami bez ohľadu na kontext. Obe poháňajú moderné aplikácie umelej inteligencie, ale výrazne sa líšia vo flexibilite, nákladoch a presnosti. Výber medzi nimi závisí od zložitosti pracovnej záťaže a rozpočtu.
