In machine learning hebben zowel datakwaliteit als datakwantiteit invloed op de prestaties van een model, maar ze werken in verschillende richtingen. Kwaliteit verwijst naar hoe schoon, relevant en goed gelabeld je trainingsdata is, terwijl kwantiteit zich richt op het pure volume. De beste resultaten worden meestal behaald door een balans tussen beide, hoewel onderzoek steeds vaker aantoont dat kwaliteit de doorslag geeft.
De maatstaf voor hoe schoon, nauwkeurig, relevant en goed gelabeld de trainingsdata zijn voor machine learning-modellen.
Het totale volume of de omvang van de datasets die gebruikt worden om machine learning- en deep learning-modellen te trainen.
| Functie | Gegevenskwaliteit | Hoeveelheid gegevens in de training |
|---|---|---|
| Definitie | Netheid, nauwkeurigheid en relevantie van de trainingsvoorbeelden | Totaal aantal voorbeelden beschikbaar voor training |
| Primair voordeel | Betere generalisatie op basis van representatieve, ruisvrije data. | Bredere patroondekking aan de hand van diverse voorbeelden |
| Kosten | Het etiketteren en schoonmaken vergt veel handarbeid. | Hoge kosten voor computer- en opslaginfrastructuur |
| Impact op overfitting | Vermindert overfitting door middel van een nauwkeurig signaal. | Vermindert overfitting door datadiversiteit |
| Schaalbaarheid | Moeilijker op te schalen – vereist beoordeling door experts | Gemakkelijker op te schalen via webscraping en automatisering |
| meting | Foutpercentages, overeenstemming tussen labels, volledigheidsscores | Aantal samples, tokens of bytes |
| Het beste voor | Gespecialiseerde vakgebieden zoals geneeskunde of recht | Algemene modellen die brede kennis vereisen |
| Risico bij verwaarlozing | Modellen leren verkeerde patronen uit ruis. | Modellen falen in zeldzame of niet-voorziene gevallen. |
Bij datakwaliteit wordt elk trainingsvoorbeeld als waardevol beschouwd, met de focus op de vraag of het het model iets corrects en nuttigs leert. Datakwantiteit neemt het tegenovergestelde standpunt in en stelt dat voldoende middelmatige voorbeelden uiteindelijk zullen resulteren in iets bruikbaars. Beide filosofieën hebben hun waarde en modern AI-onderzoek beschouwt ze steeds vaker als complementaire in plaats van tegengestelde krachten.
Wanneer je over beperkte middelen beschikt, levert investeren in kwaliteit doorgaans sneller resultaat op dan het nastreven van kwantiteit. Een model dat is getraind op 10.000 onberispelijke medische afbeeldingen presteert vaak beter dan een model dat is getraind op een miljoen ruisende afbeeldingen. Zodra de kwaliteit echter een redelijk niveau bereikt, blijft het toevoegen van meer voorbeelden de prestaties verbeteren, met name voor basismodellen die brede kennis van de wereld nodig hebben.
Kwalitatief hoogwaardige data is duur omdat elk voorbeeld door mensen moet worden beoordeeld, gelabeld en gevalideerd, wat vaak domeinexpertise vereist. Kwantiteit is op een andere manier duur: het opslaan en verwerken van petabytes aan informatie vereist een serieuze infrastructuur. Bedrijven die AI-systemen voor productieomgevingen bouwen, merken vaak dat kwaliteitsverbeteringen per voorbeeld meer kosten, maar een beter rendement opleveren op kleinere schaal.
In specialistische domeinen zoals radiologie of het beoordelen van juridische documenten, is kwaliteit doorslaggevend omdat het model precisie nodig heeft bij een specifieke taak. Voor algemene chatbots of beeldgeneratoren is kwantiteit belangrijker, omdat het model talloze onderwerpen en stijlen moet kunnen verwerken. De juiste balans verschuift afhankelijk van of je een specialist of een generalist bouwt.
De 'DataComp'-benchmark uit 2023 toonde aan dat het filteren van een grote dataset tot de meest kwalitatief hoogwaardige subset betere modellen opleverde dan het gebruik van alle gegevens. Tegelijkertijd bewees het Chinchilla-schaalonderzoek dat kwantiteit er nog steeds toe doet: modellen hebben ongeveer 20 trainingsdata per parameter nodig om hun potentieel te bereiken. Beide bevindingen suggereren dat de echte vraag niet is of het om kwaliteit of kwantiteit gaat, maar hoe de middelen daartussen verdeeld moeten worden.
Meer data betekent altijd een beter model.
Niet per se. Als de extra data ruis bevat, verkeerd gelabeld is of irrelevant is, kan dit de prestaties juist negatief beïnvloeden. Onderzoek heeft herhaaldelijk aangetoond dat een kleinere, schonere dataset vaak nauwkeurigere modellen oplevert dan een grotere, rommeligere dataset. Kwaliteitsfiltering vóór de training is vrijwel altijd gunstig.
Datakwaliteit is alleen van belang voor kleine datasets.
Kwaliteit is op elke schaal belangrijk. Zelfs modellen die getraind zijn op miljarden voorbeelden lijden eronder wanneer aanzienlijke delen fouten of vertekeningen bevatten. Grote modellen kunnen ruis onthouden, die vervolgens op onverwachte en schadelijke manieren naar boven komt tijdens de implementatie.
Gelabelde data is altijd beter dan ongelabelde data.
Het hangt af van de taak en de kwaliteit van de labels. Slecht gelabelde data kunnen erger zijn dan helemaal geen labels, terwijl enorme hoeveelheden ongelabelde data zelflerende systemen kunnen voeden die kunnen wedijveren met methoden met supervisie. De kwaliteit van de labels is belangrijker dan de loutere aanwezigheid ervan.
Je hebt miljoenen voorbeelden nodig om een bruikbaar model te trainen.
Transfer learning heeft dit drastisch veranderd. Met voorgegetrainde modellen zoals BERT of ResNet kun je sterke resultaten behalen met slechts honderden of duizenden hoogwaardige voorbeelden binnen jouw specifieke domein. Het tijdperk waarin je voor elke taak enorme, op maat gemaakte datasets nodig had, is grotendeels voorbij.
De hoeveelheid en de kwaliteit van gegevens zijn tegengestelde krachten.
Ze vullen elkaar juist aan. De beste trainingspipelines maximaliseren beide: ze verzamelen zoveel mogelijk data en filteren tegelijkertijd streng op kwaliteit. Ze als een afweging beschouwen is een vals dilemma dat leidt tot suboptimale beslissingen.
Kies voor datakwaliteit wanneer je in een gespecialiseerd domein werkt, een beperkt budget hebt of hoge precisie nodig hebt voor een specifieke taak. Investeer in datakwantiteit wanneer je algemene modellen bouwt die diverse inputs moeten verwerken, of wanneer je de kwaliteit op je huidige schaal al hebt gemaximaliseerd. In de praktijk combineren de sterkste AI-systemen beide: ze beheren grote datasets en filteren tegelijkertijd agressief op ruis.
A/B-testen bij contentreleases houdt in dat varianten worden uitgerold naar verschillende doelgroepen en de prestaties worden gemeten, terwijl bij eenmalige contentreleases één versie in één keer naar iedereen wordt verzonden. Beide benaderingen zijn geschikt voor verschillende doelen: A/B-testen bevorderen datagestuurde optimalisatie, terwijl eenmalige releases prioriteit geven aan snelheid en eenvoud.
A/B-testen bij het serveren van modellen leiden het verkeer tussen concurrerende modelversies om de prestaties in de praktijk te meten, terwijl bij de implementatie van één model één model naar alle gebruikers wordt verzonden. Teams kiezen tussen beide methoden op basis van risicotolerantie, verkeersvolume en de behoefte aan statistische validatie vóór de volledige uitrol.
Aanbevelingssystemen en zoekmachines helpen gebruikers allebei relevante content te vinden, maar ze werken op fundamenteel verschillende manieren. Zoekmachines reageren op expliciete zoekopdrachten, terwijl aanbevelingssystemen anticiperen op behoeften op basis van gedragspatronen. Inzicht in deze verschillen helpt te verduidelijken hoe moderne informatieontdekking daadwerkelijk werkt.
Aanbevelingssystemen suggereren proactief gepersonaliseerde items op basis van gebruikersgedrag en -voorkeuren, terwijl zoekmachines relevante resultaten ophalen als reactie op expliciete gebruikersvragen met behulp van indexerings- en rangschikkingsalgoritmen.
Menselijke aandacht is een flexibel cognitief systeem dat zintuiglijke input filtert op basis van doelen, emoties en overlevingsbehoeften, terwijl AI-aandachtsmechanismen wiskundige raamwerken zijn die input-tokens dynamisch wegen om de voorspellingskracht en het contextbegrip in machine learning-modellen te verbeteren. Beide systemen geven prioriteit aan informatie, maar ze werken volgens fundamenteel verschillende principes en beperkingen.
