Ve strojovém učení ovlivňují výkon modelu jak kvalita dat, tak kvantita dat, ale obě se pohybují v různých směrech. Kvalita se vztahuje k tomu, jak čistá, relevantní a dobře označená jsou trénovací data, zatímco kvantita se zaměřuje na samotný objem. Nejlepších výsledků obvykle dosahujeme vyvážením obou faktorů, i když výzkum stále častěji ukazuje, že kvalita často vítězí.
Míra, jak čistá, přesná, relevantní a dobře označená jsou tréninková data pro modely strojového učení.
Celkový objem nebo velikost datových sad použitých k trénování modelů strojového učení a hlubokého učení.
| Funkce | Kvalita dat | Množství dat v tréninku |
|---|---|---|
| Definice | Čistota, přesnost a relevance příkladů školení | Celkový objem příkladů dostupných pro školení |
| Hlavní výhoda | Lepší zobecnění z reprezentativních dat bez šumu | Širší pokrytí vzorů z různých příkladů |
| Náklady | Vysoká lidská práce při označování a čištění | Vysoké náklady na výpočetní a úložnou infrastrukturu |
| Dopad na přeplnění | Snižuje přeplnění díky přesnému signálu | Snižuje přeplnění díky diverzitě dat |
| Škálovatelnost | Obtížnější škálování – vyžaduje odborné posouzení | Snadnější škálování díky webovému scrapingu a automatizaci |
| Měření | Míra chyb, shoda s označením, skóre úplnosti | Počet vzorků, tokenů nebo bajtů |
| Nejlepší pro | Specializované oblasti jako medicína nebo právo | Univerzální modely vyžadující široké znalosti |
| Riziko při zanedbávání | Modely se učí špatné vzorce z šumu | Modely selhávají ve vzácných nebo neviditelných případech |
Kvalita dat vnímá každý trénovací příklad jako cenný a zaměřuje se na to, zda model učí něco správného a užitečného. Kvantita dat zastává opačný názor a tvrdí, že dostatek průměrných příkladů nakonec vyústí v něco užitečného. Obě filozofie mají své opodstatnění a moderní výzkum umělé inteligence je stále více vnímá jako doplňkové, nikoli protichůdné síly.
Pokud máte omezené zdroje, investice do kvality obvykle přináší rychlejší návratnost než honba za objemem. Model trénovaný na 10 000 bezchybných lékařských snímcích často překonává model trénovaný na milionu zašumených snímků. Jakmile však kvalita dosáhne rozumné hranice, přidání dalších příkladů nadále zlepšuje výkon – zejména u základních modelů, které vyžadují široké znalosti světa.
Kvalitní data jsou drahá, protože lidé musí každý příklad zkontrolovat, označit a validovat, což často vyžaduje odborné znalosti v dané oblasti. Kvantita je drahá jiným způsobem – ukládání a zpracování petabajtů informací vyžaduje seriózní infrastrukturu. Společnosti, které vytvářejí produkční systémy umělé inteligence, často zjišťují, že vylepšení kvality stojí více na příklad, ale v menším měřítku přináší lepší návratnost investic.
V úzkých oblastech, jako je radiologie nebo revize právních dokumentů, dominuje kvalita, protože model vyžaduje přesnost pro konkrétní úkol. U chatbotů pro všeobecné použití nebo generátorů obrázků záleží spíše na kvantitě, protože model musí zvládat nespočet témat a stylů. Správná rovnováha se mění v závislosti na tom, zda vytváříte specialistu nebo generalistu.
Benchmark „DataComp“ z roku 2023 ukázal, že filtrování velké datové sady až na její nejkvalitnější podmnožinu produkuje lepší modely než použití všech parametrů. Studie o škálování Chinchilla mezitím dokázala, že na kvantitě stále záleží – modely potřebují zhruba 20 tokenů trénovacích dat na parametr, aby dosáhly svého potenciálu. Oba závěry naznačují, že skutečnou otázkou není kvalita versus kvantita, ale jak mezi nimi alokovat zdroje.
Více dat vždy znamená lepší model.
Ne nutně. Pokud jsou dodatečná data zašuměná, špatně označená nebo irelevantní, může to ve skutečnosti negativně ovlivnit výkon. Výzkum opakovaně ukázal, že menší a čistší datová sada často vytváří přesnější modely než větší a nepřehlednější. Filtrování kvality před trénováním je téměř vždy prospěšné.
Kvalita dat je důležitá pouze u malých datových sad.
Kvalita je důležitá v každém měřítku. Dokonce i modely trénované na miliardách příkladů trpí, když významné části obsahují chyby nebo zkreslení. Velké modely si mohou zapamatovat šum, který se pak během nasazení projeví neočekávaným a škodlivým způsobem.
Označená data jsou vždy lepší než neoznačená data.
Záleží na úkolu a kvalitě označování. Špatně označená data mohou být horší než žádná označení, zatímco obrovské množství neoznačených dat může pohánět systémy samoučícího se učení, které konkurují řízeným přístupům. Kvalita označení je důležitější než pouhá přítomnost označení.
K natrénování užitečného modelu potřebujete miliony příkladů.
Transferové učení to dramaticky změnilo. S předtrénovanými modely, jako je BERT nebo ResNet, můžete dosáhnout skvělých výsledků jen se stovkami nebo tisíci vysoce kvalitních příkladů ve vaší specifické oblasti. Éra potřeby masivních vlastních datových sad pro každý úkol je z velké části pryč.
Množství a kvalita dat jsou protichůdné síly.
Ve skutečnosti se doplňují. Nejlepší trénovací postupy maximalizují obojí – shromažďují co nejvíce dat a zároveň agresivně filtrují z hlediska kvality. Považovat je za kompromis je falešné dilema, které vede k neoptimálním rozhodnutím.
Zvolte kvalitu dat, pokud pracujete ve specializované oblasti, máte omezený rozpočet nebo potřebujete vysokou přesnost u úzkého úkolu. Investujte do kvantity dat při vytváření univerzálních modelů, které musí zpracovávat rozmanité vstupy, nebo pokud jste již maximalizovali kvalitu ve svém současném měřítku. V praxi nejsilnější systémy umělé inteligence kombinují obojí – kurují velké datové sady a zároveň agresivně filtrují šum.
A/B testování u vydání obsahu zahrnuje zavádění variant pro různé segmenty publika a měření výkonu, zatímco jednorázová vydání obsahu nabídnou jednu verzi všem najednou. Každý přístup vyhovuje jiným cílům, přičemž A/B testování upřednostňuje optimalizaci na základě dat a jednorázová vydání upřednostňují rychlost a jednoduchost.
A/B testování v modelovém servisu směruje provoz mezi konkurenčními verzemi modelů za účelem měření reálného výkonu, zatímco nasazení jednoho modelu dodává jeden model všem uživatelům. Týmy si mezi nimi vybírají na základě tolerance rizika, objemu provozu a potřeby statistického ověření před plným nasazením.
Toto srovnání analyzuje strategické volby v oblasti strojového učení mezi adaptací domény, která přenáší znalosti z označeného zdrojového prostředí do jiného cílového prostředí, a školením v doméně, které vytváří modely výhradně na datech získaných z přesného cílového nastavení nasazení.
Toto podrobné srovnání zkoumá architektonické rozdíly, provozní limity a reálný výkon adaptivních inteligentních systémů v porovnání s automatizačními systémy s pevným chováním. Zaměřujeme se na to, jak se systémy, které se neustále učí z nových environmentálních dat, vyrovnávají s rigidními, předvídatelnými rámci založenými na pravidlech.
Adaptivní vyhledávání dynamicky upravuje, jak a jaké informace systém načítá, na základě dotazu, zatímco statické vyhledávání se řídí pevnými pravidly bez ohledu na kontext. Oba systémy pohánějí moderní aplikace umělé inteligence, ale výrazně se liší ve flexibilitě, nákladech a přesnosti. Výběr mezi nimi závisí na složitosti pracovní zátěže a rozpočtu.
