ในแมชชีนเลิร์นนิง คุณภาพและปริมาณของข้อมูลต่างก็มีผลต่อประสิทธิภาพของโมเดล แต่ทั้งสองอย่างมีผลในทิศทางที่แตกต่างกัน คุณภาพหมายถึงความสะอาด ความเกี่ยวข้อง และการติดป้ายกำกับข้อมูลฝึกฝนอย่างดี ในขณะที่ปริมาณเน้นที่ปริมาณข้อมูลโดยรวม ผลลัพธ์ที่ดีที่สุดมักมาจากการสร้างสมดุลระหว่างทั้งสองอย่าง แม้ว่างานวิจัยจะแสดงให้เห็นมากขึ้นเรื่อยๆ ว่าคุณภาพมักเป็นปัจจัยสำคัญที่สุด
เป็นการวัดว่าข้อมูลฝึกฝนสำหรับโมเดลการเรียนรู้ของเครื่องนั้นสะอาด แม่นยำ เกี่ยวข้อง และมีการติดป้ายกำกับอย่างดีเพียงใด
ปริมาณหรือขนาดโดยรวมของชุดข้อมูลที่ใช้ในการฝึกอบรมโมเดลการเรียนรู้ของเครื่องและการเรียนรู้เชิงลึก
| ฟีเจอร์ | คุณภาพข้อมูล | ปริมาณข้อมูลในการฝึกอบรม |
|---|---|---|
| คำนิยาม | ความสะอาด ความถูกต้อง และความเกี่ยวข้องของตัวอย่างการฝึกอบรม | ปริมาณรวมของตัวอย่างที่มีให้สำหรับการฝึกอบรม |
| ประโยชน์หลัก | การสรุปผลที่ดีขึ้นจากข้อมูลที่เป็นตัวแทนและปราศจากสัญญาณรบกวน | ครอบคลุมรูปแบบที่กว้างขึ้นจากตัวอย่างที่หลากหลาย |
| ค่าใช้จ่าย | มีการใช้แรงงานคนจำนวนมากในการติดฉลากและทำความสะอาด | ต้นทุนโครงสร้างพื้นฐานด้านการประมวลผลและการจัดเก็บข้อมูลที่สูง |
| ผลกระทบต่อการเกิด Overfitting | ลดปัญหาการโอเวอร์ฟิตติ้งด้วยสัญญาณที่แม่นยำ | ลดปัญหาการโอเวอร์ฟิตติ้งด้วยความหลากหลายของข้อมูล |
| ความสามารถในการปรับขนาด | ขยายขนาดได้ยากกว่า—ต้องได้รับการตรวจสอบจากผู้เชี่ยวชาญ | ขยายขนาดได้ง่ายขึ้นด้วยการดึงข้อมูลจากเว็บไซต์และการทำงานอัตโนมัติ |
| การวัด | อัตราข้อผิดพลาด ความสอดคล้องของป้ายกำกับ คะแนนความสมบูรณ์ | จำนวนตัวอย่าง โทเค็น หรือไบต์ |
| เหมาะสำหรับ | สาขาเฉพาะทาง เช่น แพทย์ศาสตร์ หรือนิติศาสตร์ | แบบจำลองอเนกประสงค์ที่ต้องการความรู้ในวงกว้าง |
| ความเสี่ยงเมื่อถูกละเลย | แบบจำลองเรียนรู้รูปแบบที่ผิดพลาดจากสัญญาณรบกวน | แบบจำลองอาจล้มเหลวในกรณีที่หายากหรือไม่เคยพบเห็นมาก่อน |
คุณภาพของข้อมูลถือว่าตัวอย่างการฝึกฝนแต่ละตัวอย่างมีค่า โดยมุ่งเน้นว่าตัวอย่างเหล่านั้นสอนอะไรที่ถูกต้องและมีประโยชน์ให้กับโมเดลหรือไม่ ในขณะที่ปริมาณของข้อมูลมีมุมมองตรงกันข้าม โดยโต้แย้งว่าตัวอย่างคุณภาพปานกลางจำนวนมากจะเฉลี่ยออกมาเป็นสิ่งที่มีประโยชน์ในที่สุด ทั้งสองแนวคิดต่างมีข้อดี และงานวิจัยด้านปัญญาประดิษฐ์สมัยใหม่มองว่าทั้งสองแนวคิดนี้เป็นสิ่งที่ส่งเสริมซึ่งกันและกันมากกว่าที่จะเป็นสิ่งที่ขัดแย้งกัน
เมื่อคุณมีทรัพยากรจำกัด การลงทุนในคุณภาพมักให้ผลตอบแทนที่เร็วกว่าการมุ่งเน้นปริมาณ โมเดลที่ฝึกฝนด้วยภาพทางการแพทย์คุณภาพสูง 10,000 ภาพ มักจะดีกว่าโมเดลที่ฝึกฝนด้วยภาพที่มีสัญญาณรบกวนนับล้านภาพ อย่างไรก็ตาม เมื่อคุณภาพถึงระดับที่เหมาะสมแล้ว การเพิ่มตัวอย่างมากขึ้นจะช่วยปรับปรุงประสิทธิภาพได้อย่างต่อเนื่อง โดยเฉพาะอย่างยิ่งสำหรับโมเดลพื้นฐานที่ต้องการความรู้เกี่ยวกับโลกในวงกว้าง
ข้อมูลคุณภาพสูงมีราคาแพง เพราะมนุษย์ต้องตรวจสอบ ติดป้ายกำกับ และตรวจสอบความถูกต้องของแต่ละตัวอย่าง ซึ่งมักต้องอาศัยความเชี่ยวชาญเฉพาะด้าน ส่วนข้อมูลปริมาณมากนั้นมีราคาแพงในอีกรูปแบบหนึ่ง คือการจัดเก็บและประมวลผลข้อมูลขนาดหลายเพตาไบต์นั้นต้องการโครงสร้างพื้นฐานที่ซับซ้อน บริษัทที่สร้างระบบ AI สำหรับการใช้งานจริงมักพบว่า การปรับปรุงคุณภาพมีต้นทุนต่อตัวอย่างสูงกว่า แต่ให้ผลตอบแทนจากการลงทุนที่ดีกว่าในระดับที่เล็กกว่า
ในสาขาเฉพาะทาง เช่น รังสีวิทยา หรือการตรวจสอบเอกสารทางกฎหมาย คุณภาพมีความสำคัญมากกว่า เพราะโมเดลต้องการความแม่นยำในงานเฉพาะเจาะจง แต่สำหรับแชทบอทหรือโปรแกรมสร้างภาพทั่วไป ปริมาณมีความสำคัญมากกว่า เพราะโมเดลต้องจัดการกับหัวข้อและรูปแบบต่างๆ มากมาย ความสมดุลที่เหมาะสมจะเปลี่ยนไปตามว่าคุณกำลังสร้างผู้เชี่ยวชาญเฉพาะด้านหรือผู้เชี่ยวชาญทั่วไป
ผลการทดสอบประสิทธิภาพ 'DataComp' จากปี 2023 แสดงให้เห็นว่า การกรองชุดข้อมูลขนาดใหญ่ให้เหลือเพียงชุดย่อยที่มีคุณภาพสูงสุดนั้น ทำให้ได้โมเดลที่ดีกว่าการใช้ข้อมูลทั้งหมด ในขณะเดียวกัน งานวิจัยเรื่องการปรับขนาดของ Chinchilla ก็พิสูจน์ให้เห็นว่า ปริมาณยังคงมีความสำคัญ โดยโมเดลต้องการข้อมูลฝึกฝนประมาณ 20 โทเค็นต่อพารามิเตอร์ เพื่อให้ได้ประสิทธิภาพสูงสุด ผลการค้นพบทั้งสองชี้ให้เห็นว่า คำถามที่แท้จริงไม่ใช่คุณภาพกับปริมาณ แต่เป็นการจัดสรรทรัพยากรระหว่างกันอย่างไร
ข้อมูลที่มากขึ้นย่อมหมายถึงแบบจำลองที่ดีขึ้นเสมอ
ไม่จำเป็นเสมอไป หากข้อมูลเพิ่มเติมนั้นมีสัญญาณรบกวน ติดป้ายกำกับผิด หรือไม่เกี่ยวข้อง มันอาจส่งผลเสียต่อประสิทธิภาพได้ งานวิจัยหลายชิ้นแสดงให้เห็นซ้ำแล้วซ้ำเล่าว่า ชุดข้อมูลขนาดเล็กกว่าและสะอาดกว่า มักจะสร้างแบบจำลองที่แม่นยำกว่าชุดข้อมูลขนาดใหญ่และไม่เป็นระเบียบ การกรองคุณภาพก่อนการฝึกอบรมจึงเป็นประโยชน์เกือบทุกครั้ง
คุณภาพของข้อมูลมีความสำคัญเฉพาะกับชุดข้อมูลขนาดเล็กเท่านั้น
คุณภาพมีความสำคัญในทุกระดับ แม้แต่โมเดลที่ฝึกฝนด้วยตัวอย่างนับพันล้านก็ยังได้รับผลกระทบหากส่วนสำคัญของโมเดลมีข้อผิดพลาดหรืออคติ โมเดลขนาดใหญ่สามารถจดจำสิ่งรบกวนได้ ซึ่งจะปรากฏขึ้นในรูปแบบที่ไม่คาดคิดและเป็นอันตรายในระหว่างการใช้งานจริง
ข้อมูลที่มีป้ายกำกับย่อมดีกว่าข้อมูลที่ไม่มีป้ายกำกับเสมอ
ขึ้นอยู่กับงานและคุณภาพของการติดป้ายกำกับ ข้อมูลที่ติดป้ายกำกับไม่ดีอาจแย่กว่าการไม่มีป้ายกำกับเลย ในขณะที่ข้อมูลจำนวนมหาศาลที่ไม่มีป้ายกำกับสามารถขับเคลื่อนระบบการเรียนรู้ด้วยตนเองที่เทียบเท่ากับวิธีการเรียนรู้แบบมีผู้กำกับดูแลได้ คุณภาพของป้ายกำกับมีความสำคัญมากกว่าการมีป้ายกำกับอยู่เพียงอย่างเดียว
คุณต้องใช้ตัวอย่างนับล้านๆ ตัวอย่างเพื่อฝึกฝนโมเดลที่มีประโยชน์
การเรียนรู้แบบถ่ายโอน (Transfer learning) ได้เปลี่ยนแปลงสิ่งนี้ไปอย่างมาก ด้วยโมเดลที่ผ่านการฝึกฝนล่วงหน้า เช่น BERT หรือ ResNet คุณสามารถได้ผลลัพธ์ที่ยอดเยี่ยมโดยใช้เพียงตัวอย่างคุณภาพสูงจำนวนหลายร้อยหรือหลายพันตัวอย่างในโดเมนเฉพาะของคุณ ยุคที่ต้องใช้ชุดข้อมูลขนาดใหญ่ที่กำหนดเองสำหรับทุกงานนั้นได้สิ้นสุดลงแล้ว
ปริมาณและคุณภาพของข้อมูลเป็นสิ่งที่ขัดแย้งกัน
จริงๆ แล้วทั้งสองอย่างนั้นส่งเสริมซึ่งกันและกัน กระบวนการฝึกอบรมที่ดีที่สุดจะเพิ่มประสิทธิภาพทั้งสองอย่างให้สูงสุด นั่นคือการรวบรวมข้อมูลให้ได้มากที่สุดเท่าที่จะเป็นไปได้ ในขณะเดียวกันก็คัดกรองข้อมูลที่มีคุณภาพอย่างเข้มงวด การมองว่าทั้งสองอย่างเป็นสิ่งที่ต้องเลือกอย่างใดอย่างหนึ่งนั้นเป็นความเข้าใจผิดที่นำไปสู่การตัดสินใจที่ไม่เหมาะสม
เลือกเน้นคุณภาพข้อมูลเมื่อคุณทำงานในสาขาเฉพาะทาง มีงบประมาณจำกัด หรือต้องการความแม่นยำสูงในงานเฉพาะด้าน ลงทุนในปริมาณข้อมูลเมื่อสร้างโมเดลอเนกประสงค์ที่ต้องจัดการกับข้อมูลที่หลากหลาย หรือเมื่อคุณได้เพิ่มคุณภาพข้อมูลให้ถึงระดับสูงสุดแล้วในระดับปัจจุบัน ในทางปฏิบัติ ระบบ AI ที่ทรงพลังที่สุดมักจะผสมผสานทั้งสองอย่างเข้าด้วยกัน คือการจัดการชุดข้อมูลขนาดใหญ่ไปพร้อมกับการกรองข้อมูลที่ไม่จำเป็นออกอย่างเข้มข้น
AI slop หมายถึงเนื้อหา AI ที่ผลิตออกมาจำนวนมากโดยใช้ความพยายามน้อยและขาดการกำกับดูแล ในขณะที่งาน AI ที่มีมนุษย์ควบคุมนั้นเป็นการผสมผสานปัญญาประดิษฐ์เข้ากับการตัดต่อ การกำกับ และการตัดสินใจเชิงสร้างสรรค์อย่างรอบคอบ ความแตกต่างมักอยู่ที่คุณภาพ ความคิดริเริ่ม ประโยชน์ใช้สอย และว่ามีบุคคลจริงเข้ามามีส่วนร่วมในการกำหนดผลลัพธ์สุดท้ายหรือไม่
AI ที่มีมนุษย์เข้ามาเกี่ยวข้อง (Human-in-the-Loop AI) ผสานประสิทธิภาพของเครื่องจักรเข้ากับการตัดสินใจของมนุษย์ในจุดสำคัญ ในขณะที่ระบบ AI อัตโนมัติเต็มรูปแบบ (Fully Automated AI Systems) ทำงานอย่างอิสระตั้งแต่ต้นจนจบ แต่ละแนวทางมีข้อดีข้อเสียที่แตกต่างกันในด้านความแม่นยำ ความสามารถในการขยายขนาด ต้นทุน และความรับผิดชอบ ซึ่งเป็นตัวกำหนดว่าแนวทางใดเหมาะสมกับกรณีการใช้งานนั้นๆ
การเปรียบเทียบทางสถาปัตยกรรมนี้เน้นให้เห็นถึงความแตกต่างหลักระหว่างระบบ AI ที่รับรู้บริบท ซึ่งวิเคราะห์ข้อมูลสถานการณ์แบบไดนามิก เช่น ความตั้งใจของผู้ใช้ ประวัติ และสภาพแวดล้อม กับระบบที่ไม่รับรู้บริบท ซึ่งประมวลผลข้อมูลนำเข้าเป็นเหตุการณ์แยกต่างหากโดยอาศัยกฎที่กำหนดไว้ล่วงหน้าเท่านั้น
AI ที่เสริมด้วยการค้นหาจะดึงข้อมูลแบบเรียลไทม์จากแหล่งข้อมูลภายนอกในขณะที่ทำการค้นหา ในขณะที่การฝึกฝนโดยใช้ชุดข้อมูลเพียงอย่างเดียวจะอาศัยความรู้ที่ฝังอยู่ในน้ำหนักของโมเดลระหว่างการฝึกฝนเท่านั้น แต่ละแนวทางมีข้อดีข้อเสียที่แตกต่างกันในด้านความแม่นยำ ต้นทุน ความทันสมัย และความสามารถในการจัดการกับคำถามที่อยู่นอกขอบเขตการฝึกฝนดั้งเดิม
ระบบ AI แบบกระจายศูนย์จะกระจายสติปัญญา ข้อมูล และการคำนวณไปยังโหนดอิสระต่างๆ โดยมักให้ความสำคัญกับความเปิดกว้างและการควบคุมของผู้ใช้ ในขณะที่ระบบ AI ขององค์กรนั้นได้รับการจัดการจากส่วนกลางโดยบริษัทต่างๆ โดยมุ่งเน้นที่ประสิทธิภาพ ผลกำไร และการบูรณาการผลิตภัณฑ์ ทั้งสองแนวทางนี้มีส่วนกำหนดวิธีการสร้าง การกำกับดูแล และการเข้าถึง AI แต่มีความแตกต่างกันอย่างมากในด้านความโปร่งใส การเป็นเจ้าของ และการควบคุม
