การจัดเรียงข้อมูลข้ามรูปแบบ (Cross-modal alignment) ฝึกระบบ AI ให้เชื่อมต่อและแปลข้อมูลจากประเภทข้อมูลที่แตกต่างกัน เช่น รูปภาพ ข้อความ และเสียง ในขณะที่การเรียนรู้คุณลักษณะเฉพาะโดเมน (Single-domain feature learning) มุ่งเน้นไปที่การดึงรูปแบบจากประเภทข้อมูลเฉพาะประเภทเดียว ทั้งสองแนวทางนี้มีส่วนช่วยกำหนดวิธีการที่ AI สมัยใหม่เข้าใจและประมวลผลข้อมูล แต่มีจุดประสงค์พื้นฐานที่แตกต่างกัน
วิธีการเรียนรู้ของเครื่องจักรที่เชื่อมโยงและจับคู่ข้อมูลต่างๆ จากหลายรูปแบบ เช่น ภาพ ภาษา และเสียง
แนวคิดการเรียนรู้ของเครื่องจักรแบบดั้งเดิมมุ่งเน้นไปที่การเรียนรู้การแสดงผลที่มีความหมายจากข้อมูลประเภทเดียว เช่น รูปภาพ ข้อความ หรือเสียงเพียงอย่างเดียว
| ฟีเจอร์ | การจัดเรียงข้ามโมดอล | การเรียนรู้คุณลักษณะโดเมนเดียว |
|---|---|---|
| การป้อนข้อมูลหลัก | รูปแบบหลากหลาย (ภาพ ข้อความ เสียง วิดีโอ) | รูปแบบเดียว (ประเภทข้อมูลเดียวเท่านั้น) |
| วัตถุประสงค์หลัก | จัดเรียงการนำเสนอในรูปแบบต่างๆ ให้สอดคล้องกันในพื้นที่เดียวกัน | สกัดคุณลักษณะที่โดดเด่นภายในรูปแบบเดียว |
| ข้อมูลการฝึกอบรมทั่วไป | ชุดข้อมูลมัลติโมดอลแบบจับคู่หรือไม่จับคู่ | ชุดข้อมูลโมดาลิตีเดียวขนาดใหญ่ที่มีการติดป้ายกำกับ |
| สถาปัตยกรรมทั่วไป | ตัวเข้ารหัสคู่, โมเดลการหลอมรวมแบบทรานส์ฟอร์เมอร์, กรอบงานเชิงเปรียบเทียบ | โครงข่ายประสาทเทียมแบบ Convolutional Neural Network (CNN), โครงข่ายประสาทเทียมแบบ RNN (RNN), ทรานส์ฟอร์เมอร์ (Transformer), ออโตเอนโคเดอร์ (Autoencoders) |
| กรณีการใช้งานที่สำคัญ | การสร้างภาพจากข้อความ, การตอบคำถามด้วยภาพ, การค้นหาข้ามรูปแบบ | การจำแนกภาพ การรู้จำเสียง การวิเคราะห์ความรู้สึกจากข้อความ |
| ความสามารถในการยิงศูนย์นัด | แข็งแกร่ง เนื่องจากการใช้พื้นที่ความหมายร่วมกัน | มีข้อจำกัด และโดยปกติแล้วต้องมีการฝึกอบรมเพิ่มเติมสำหรับชั้นเรียนใหม่ |
| ความซับซ้อนในการคำนวณ | สูงขึ้น เนื่องจากมีตัวเข้ารหัสหลายตัวและวัตถุประสงค์ในการจัดแนว | ด้านล่าง เน้นที่กระแสข้อมูลเดียว |
| ตัวอย่างโมเดล | คลิป, จัดแนว, ฟลอเรนซ์, คลิปเสียง | ResNet, BERT, wav2vec, VGG |
การจัดเรียงข้ามประสาทสัมผัสถือว่าความเข้าใจเป็นปัญหาของการเชื่อมโยงช่องทางประสาทสัมผัสที่แตกต่างกัน เช่นเดียวกับที่มนุษย์เชื่อมโยงสิ่งที่พวกเขาเห็นกับสิ่งที่พวกเขาได้ยินหรืออ่าน ในทางตรงกันข้าม การเรียนรู้คุณลักษณะแบบโดเมนเดียวจะมองแต่ละประสาทสัมผัสเป็นปัญหาที่แยกจากกัน โดยมุ่งเน้นเฉพาะประสิทธิภาพภายในประเภทข้อมูลนั้นๆ ช่องว่างทางปรัชญาระหว่างทั้งสองนั้นมีนัยสำคัญ กล่าวคือ อย่างหนึ่งแสวงหาความหมายที่เป็นหนึ่งเดียว ในขณะที่อีกอย่างหนึ่งแสวงหาความเชี่ยวชาญเฉพาะด้าน
ระบบการเรียนรู้แบบข้ามโมดอลโดยทั่วไปต้องการตัวอย่างที่จับคู่กัน เช่น รูปภาพที่จับคู่กับคำบรรยาย หรืออย่างน้อยที่สุดก็คือข้อมูลที่เกิดขึ้นพร้อมกันในโมดอลต่างๆ การเรียนรู้แบบโดเมนเดียวมักต้องการข้อมูลที่มีการติดป้ายกำกับจำนวนมากภายในกระแสข้อมูลเดียว เช่น รูปภาพที่มีการติดแท็กหลายพันรูปสำหรับการจำแนกประเภทภาพ ทำให้การฝึกอบรมแบบข้ามโมดอลมีความซับซ้อนในการตั้งค่ามากขึ้น แต่โดยทั่วไปแล้วจะมีความยืดหยุ่นมากกว่าเมื่อนำไปใช้งานแล้ว
โมเดลแบบโดเมนเดียวมักมีประสิทธิภาพเหนือกว่าระบบแบบหลายโมดอลในเกณฑ์มาตรฐานเฉพาะด้าน เนื่องจากสามารถทุ่มเทความสามารถทั้งหมดให้กับงานเดียวได้ ในขณะที่โมเดลแบบหลายโมดอลยอมเสียความแม่นยำสูงสุดบางส่วนเพื่อแลกกับความสามารถในการสรุปผลที่น่าทึ่ง โดยมักจัดการกับงานที่พวกมันไม่เคยได้รับการฝึกฝนมาก่อน ตัวอย่างเช่น CLIP สามารถจำแนกแนวคิดได้หลายพันรายการโดยไม่เคยเห็นตัวอย่างที่มีป้ายกำกับของหมวดหมู่เหล่านั้นมาก่อนเลย
การจัดเรียงข้ามโมดอล (Cross-modal alignment) โดดเด่นในด้านปัญญาประดิษฐ์เชิงสร้างสรรค์ (Generative AI) การค้นหามัลติมีเดีย และเครื่องมือการเข้าถึงที่แปลงระหว่างประสาทสัมผัส เช่น การสร้างคำอธิบายภาพสำหรับผู้ใช้ที่มีความบกพร่องทางสายตา การเรียนรู้คุณลักษณะแบบโดเมนเดียว (Single-domain feature learning) มีบทบาทสำคัญในสาขาต่างๆ เช่น การวินิจฉัยภาพทางการแพทย์ ซึ่งการวิเคราะห์ภาพเอกซเรย์ได้รับประโยชน์จากแบบจำลองที่ฝึกฝนโดยใช้ข้อมูลทางรังสีวิทยาเพียงอย่างเดียว ระบบการผลิตจำนวนมากได้รวมทั้งสองอย่างเข้าด้วยกัน โดยตัวเข้ารหัสแบบโดเมนเดียวจะป้อนข้อมูลเข้าสู่เลเยอร์การจัดเรียงข้ามโมดอล
การฝึกอบรมแบบข้ามโมดอลต้องการพลังประมวลผล หน่วยความจำ และความพยายามด้านวิศวกรรมมากกว่า เนื่องจากต้องจัดการกับตัวเข้ารหัสหลายตัวและการสูญเสียการจัดเรียงพร้อมกัน การฝึกอบรมแบบโดเมนเดียวทำได้ง่ายกว่า มีขั้นตอนการทำงานที่เป็นระบบและมีจุดตรวจสอบที่ฝึกฝนไว้ล่วงหน้ามากมาย อย่างไรก็ตาม โมเดลแบบข้ามโมดอลมักช่วยลดความจำเป็นในการฝึกอบรมเฉพาะงานในภายหลัง ซึ่งสามารถชดเชยต้นทุนเริ่มต้นได้
แบบจำลองการจัดเรียงข้ามโมดอลสามารถเข้าใจโมดอลหลายรูปแบบได้อย่างแท้จริงในแบบที่มนุษย์เข้าใจ
โมเดลเหล่านี้เรียนรู้ความสัมพันธ์ทางสถิติระหว่างรูปแบบต่างๆ มากกว่าความเข้าใจอย่างแท้จริง พวกมัน excelled ในด้านการจับคู่รูปแบบ แต่สามารถล้มเหลวในงานที่ต้องใช้การให้เหตุผลข้ามรูปแบบ เช่น การนับวัตถุในภาพตามข้อความที่กำหนด
การเรียนรู้คุณลักษณะจากโดเมนเดียวล้าสมัยไปแล้วในยุคของ AI แบบหลายโมดอล
โมเดลโดเมนเดียวมีความสำคัญอย่างยิ่ง เนื่องจากมักทำหน้าที่เป็นตัวสกัดคุณลักษณะภายในระบบข้ามโมดอล โมเดลมัลติโมดอลที่ทันสมัยโดยทั่วไปอาศัยตัวเข้ารหัสโดเมนเดียวที่มีประสิทธิภาพเป็นพื้นฐาน
การจัดเรียงข้ามรูปแบบ (Cross-modal alignment) จำเป็นต้องใช้ข้อมูลคู่ที่มีการติดป้ายกำกับอย่างสมบูรณ์แบบสำหรับทุกตัวอย่าง
วิธีการสมัยใหม่ เช่น CLIP ใช้คู่ภาพและข้อความที่ได้มาจากเว็บซึ่งมีสัญญาณรบกวนอยู่บ้าง แต่ก็ยังสามารถเรียนรู้การจับคู่ที่มีประสิทธิภาพได้ การกำกับดูแลแบบอ่อนและวัตถุประสงค์เชิงเปรียบเทียบสามารถดึงความสัมพันธ์ที่มีความหมายได้แม้จากข้อมูลที่ไม่สมบูรณ์
โมเดลที่มีขอบเขตจำกัดเพียงโดเมนเดียวไม่สามารถนำไปใช้กับหมวดหมู่ใหม่ได้โดยไม่ต้องฝึกฝนใหม่
ในขณะที่ตัวจำแนกประเภทแบบดั้งเดิมที่ใช้โดเมนเดียวประสบปัญหาในเรื่องนี้ วิธีการเรียนรู้แบบกำกับตนเองสมัยใหม่ เช่น SimCLR และ DINO เรียนรู้การแสดงผลที่ถ่ายทอดไปยังคลาสใหม่ได้อย่างดีพอสมควรโดยมีการปรับแต่งเพียงเล็กน้อย
โมเดลแบบข้ามโมดอลมักมีประสิทธิภาพเหนือกว่าโมเดลแบบโดเมนเดียวเสมอ เนื่องจากสามารถเข้าถึงข้อมูลได้มากกว่า
ในการทดสอบเฉพาะด้านในโมดาลิตี้เดียว โมเดลเฉพาะทางในโดเมนเดียวมักจะทำได้ดีกว่าระบบข้ามโมดาลิตี้ ข้อดีของโมเดลข้ามโมดาลิตี้อยู่ที่ความยืดหยุ่นและความสามารถในการสรุปผล ไม่ใช่ความแม่นยำในการทำงานเฉพาะอย่าง
เลือกการจัดเรียงข้ามโมดอลเมื่อแอปพลิเคชันของคุณต้องการเชื่อมโยงข้อมูลประเภทต่างๆ เช่น การจับคู่รูปภาพกับข้อความ หรือการสร้างเนื้อหาข้ามโมดอล เลือกการเรียนรู้คุณลักษณะโดเมนเดียวเมื่อคุณต้องการความแม่นยำสูงสุดในงานที่กำหนดไว้อย่างชัดเจนภายในข้อมูลประเภทเดียว เช่น การจำแนกประเภทภาพสแกนทางการแพทย์ หรือการถอดเสียงพูด ในทางปฏิบัติ ระบบ AI สมัยใหม่ส่วนใหญ่ได้รับประโยชน์จากการผสมผสานทั้งสองอย่างเข้าด้วยกัน: ตัวเข้ารหัสเฉพาะทางที่ป้อนข้อมูลเข้าสู่พื้นที่การจัดเรียงร่วมกัน
AI slop หมายถึงเนื้อหา AI ที่ผลิตออกมาจำนวนมากโดยใช้ความพยายามน้อยและขาดการกำกับดูแล ในขณะที่งาน AI ที่มีมนุษย์ควบคุมนั้นเป็นการผสมผสานปัญญาประดิษฐ์เข้ากับการตัดต่อ การกำกับ และการตัดสินใจเชิงสร้างสรรค์อย่างรอบคอบ ความแตกต่างมักอยู่ที่คุณภาพ ความคิดริเริ่ม ประโยชน์ใช้สอย และว่ามีบุคคลจริงเข้ามามีส่วนร่วมในการกำหนดผลลัพธ์สุดท้ายหรือไม่
AI ที่มีมนุษย์เข้ามาเกี่ยวข้อง (Human-in-the-Loop AI) ผสานประสิทธิภาพของเครื่องจักรเข้ากับการตัดสินใจของมนุษย์ในจุดสำคัญ ในขณะที่ระบบ AI อัตโนมัติเต็มรูปแบบ (Fully Automated AI Systems) ทำงานอย่างอิสระตั้งแต่ต้นจนจบ แต่ละแนวทางมีข้อดีข้อเสียที่แตกต่างกันในด้านความแม่นยำ ความสามารถในการขยายขนาด ต้นทุน และความรับผิดชอบ ซึ่งเป็นตัวกำหนดว่าแนวทางใดเหมาะสมกับกรณีการใช้งานนั้นๆ
การเปรียบเทียบทางสถาปัตยกรรมนี้เน้นให้เห็นถึงความแตกต่างหลักระหว่างระบบ AI ที่รับรู้บริบท ซึ่งวิเคราะห์ข้อมูลสถานการณ์แบบไดนามิก เช่น ความตั้งใจของผู้ใช้ ประวัติ และสภาพแวดล้อม กับระบบที่ไม่รับรู้บริบท ซึ่งประมวลผลข้อมูลนำเข้าเป็นเหตุการณ์แยกต่างหากโดยอาศัยกฎที่กำหนดไว้ล่วงหน้าเท่านั้น
AI ที่เสริมด้วยการค้นหาจะดึงข้อมูลแบบเรียลไทม์จากแหล่งข้อมูลภายนอกในขณะที่ทำการค้นหา ในขณะที่การฝึกฝนโดยใช้ชุดข้อมูลเพียงอย่างเดียวจะอาศัยความรู้ที่ฝังอยู่ในน้ำหนักของโมเดลระหว่างการฝึกฝนเท่านั้น แต่ละแนวทางมีข้อดีข้อเสียที่แตกต่างกันในด้านความแม่นยำ ต้นทุน ความทันสมัย และความสามารถในการจัดการกับคำถามที่อยู่นอกขอบเขตการฝึกฝนดั้งเดิม
ระบบ AI แบบกระจายศูนย์จะกระจายสติปัญญา ข้อมูล และการคำนวณไปยังโหนดอิสระต่างๆ โดยมักให้ความสำคัญกับความเปิดกว้างและการควบคุมของผู้ใช้ ในขณะที่ระบบ AI ขององค์กรนั้นได้รับการจัดการจากส่วนกลางโดยบริษัทต่างๆ โดยมุ่งเน้นที่ประสิทธิภาพ ผลกำไร และการบูรณาการผลิตภัณฑ์ ทั้งสองแนวทางนี้มีส่วนกำหนดวิธีการสร้าง การกำกับดูแล และการเข้าถึง AI แต่มีความแตกต่างกันอย่างมากในด้านความโปร่งใส การเป็นเจ้าของ และการควบคุม
