กลไกการให้ความสนใจตนเอง (Self-attention mechanisms) และแบบจำลองปริภูมิสถานะ (State space models) เป็นสองแนวทางพื้นฐานในการสร้างแบบจำลองลำดับในปัญญาประดิษฐ์สมัยใหม่ กลไกการให้ความสนใจตนเองมีความโดดเด่นในการจับความสัมพันธ์ที่ซับซ้อนระหว่างโทเค็น แต่จะมีค่าใช้จ่ายสูงเมื่อลำดับยาว ในขณะที่แบบจำลองปริภูมิสถานะประมวลผลลำดับได้อย่างมีประสิทธิภาพมากขึ้นด้วยการปรับขนาดเชิงเส้น ทำให้เป็นที่น่าสนใจสำหรับแอปพลิเคชันที่มีบริบทยาวและแบบเรียลไทม์
วิธีการสร้างแบบจำลองลำดับที่แต่ละโทเค็นจะพิจารณาโทเค็นอื่นๆ ทั้งหมดอย่างไดนามิกเพื่อคำนวณการแสดงแทนตามบริบท
กรอบการสร้างแบบจำลองลำดับที่แสดงอินพุตเป็นสถานะที่ซ่อนอยู่ซึ่งเปลี่ยนแปลงไปตามเวลา
| ฟีเจอร์ | กลไกการให้ความสนใจตนเอง (ทรานส์ฟอร์เมอร์) | แบบจำลองปริภูมิสถานะ |
|---|---|---|
| แนวคิดหลัก | การให้ความสนใจแบบโทเค็นต่อโทเค็นตลอดลำดับทั้งหมด | วิวัฒนาการของสถานะที่ซ่อนอยู่เมื่อเวลาผ่านไป |
| ความซับซ้อนในการคำนวณ | การปรับขนาดกำลังสอง | การปรับขนาดเชิงเส้น |
| การใช้งานหน่วยความจำ | เหมาะสำหรับลำดับยาวๆ | ประหยัดหน่วยความจำมากขึ้น |
| การจัดการลำดับยาว | มีราคาแพงเกินกว่าบริบทและความยาวที่กำหนด | ออกแบบมาสำหรับลำดับภาพยาวๆ |
| การประมวลผลแบบขนาน | มีความขนานสูงมากในระหว่างการฝึกอบรม | มีลักษณะเป็นลำดับมากกว่า |
| ความสามารถในการตีความ | แผนที่ความสนใจสามารถตีความได้เพียงบางส่วน | พลวัตของสถานะนั้นตีความได้ยากกว่าโดยตรง |
| ประสิทธิภาพการฝึกอบรม | มีประสิทธิภาพสูงบนเครื่องเร่งอนุภาคสมัยใหม่ | มีประสิทธิภาพแต่ไม่เหมาะกับการทำงานแบบขนาน |
| ตัวอย่างการใช้งานทั่วไป | แบบจำลองภาษาขนาดใหญ่, ตัวแปลงภาพ, ระบบมัลติโมดอล | อนุกรมเวลา, เสียง, การสร้างแบบจำลองบริบทระยะยาว |
กลไกการให้ความสนใจตนเอง (Self-attention mechanisms) ที่ใช้ในโมเดลทรานส์ฟอร์เมอร์ จะเปรียบเทียบโทเค็นทุกตัวกับโทเค็นอื่นๆ ทุกตัวอย่างชัดเจน เพื่อสร้างการแสดงแทนตามบริบท ซึ่งจะสร้างระบบที่มีความสามารถในการแสดงออกสูงและสามารถจับความสัมพันธ์ได้โดยตรง ในทางกลับกัน โมเดลพื้นที่สถานะ (State space models) จะมองลำดับเป็นระบบที่กำลังพัฒนา โดยที่ข้อมูลจะไหลผ่านสถานะที่ซ่อนอยู่ซึ่งได้รับการอัปเดตทีละขั้นตอน หลีกเลี่ยงการเปรียบเทียบแบบคู่โดยตรง
กลไกการให้ความสนใจตนเอง (Self-attention) ทำงานได้ไม่ดีนักกับลำดับข้อมูลที่ยาว เพราะโทเค็นแต่ละตัวที่เพิ่มเข้ามาจะทำให้จำนวนปฏิสัมพันธ์แบบคู่เพิ่มขึ้นอย่างมาก ในขณะที่แบบจำลองพื้นที่สถานะ (State space models) รักษาต้นทุนการคำนวณให้คงที่มากกว่าเมื่อความยาวของลำดับข้อมูลเพิ่มขึ้น ทำให้เหมาะสมกว่าสำหรับข้อมูลป้อนเข้าที่ยาวมาก เช่น เอกสาร สตรีมเสียง หรือข้อมูลอนุกรมเวลา
กลไก Self-attention สามารถเชื่อมโยงโทเค็นที่อยู่ห่างไกลกันได้โดยตรง ซึ่งทำให้มีประสิทธิภาพในการจับความสัมพันธ์ระยะไกล แต่ก็มีต้นทุนการคำนวณสูง โมเดล State space รักษาหน่วยความจำระยะยาวผ่านการอัปเดตสถานะอย่างต่อเนื่อง ซึ่งให้รูปแบบการให้เหตุผลในบริบทระยะยาวที่มีประสิทธิภาพมากกว่า แต่บางครั้งก็อาจไม่ตรงไปตรงมาเท่า
กลไก Self-attention ได้รับประโยชน์อย่างมากจากการประมวลผลแบบขนานด้วย GPU และ TPU ซึ่งเป็นเหตุผลว่าทำไมโมเดล Transformer จึงมีประสิทธิภาพในการฝึกฝนข้อมูลขนาดใหญ่ ในขณะที่โมเดล State space มักมีลักษณะเป็นลำดับมากกว่า ซึ่งอาจจำกัดประสิทธิภาพการประมวลผลแบบขนาน แต่ก็ชดเชยด้วยการประมวลผลที่เร็วกว่าในสถานการณ์ที่มีลำดับข้อมูลยาว
กลไกการให้ความสนใจตนเอง (Self-attention) ถูกผสานรวมอย่างลึกซึ้งในระบบ AI สมัยใหม่ โดยเป็นหัวใจสำคัญของโมเดลภาษาและภาพที่ล้ำสมัยส่วนใหญ่ ในขณะที่โมเดลพื้นที่สถานะ (State space models) นั้นใหม่กว่าในแอปพลิเคชันการเรียนรู้เชิงลึก แต่กำลังได้รับความสนใจในฐานะทางเลือกที่ปรับขนาดได้สำหรับโดเมนที่ประสิทธิภาพในบริบทระยะยาวมีความสำคัญอย่างยิ่ง
แบบจำลองปริภูมิสถานะเป็นเพียงทรานส์ฟอร์เมอร์แบบง่ายๆ
โมเดลปริภูมิสถานะมีความแตกต่างกันโดยพื้นฐาน โมเดลเหล่านี้อิงตามระบบพลวัตแบบต่อเนื่อง แทนที่จะเป็นการให้ความสนใจแบบโทเค็นต่อโทเค็นอย่างชัดเจน ทำให้มันเป็นกรอบทางคณิตศาสตร์ที่แยกต่างหาก ไม่ใช่เวอร์ชันที่เรียบง่ายกว่าของโมเดลทรานส์ฟอร์เมอร์
กลไกการให้ความสนใจตนเองไม่สามารถจัดการกับลำดับที่ยาวได้เลย
กลไก Self-attention สามารถจัดการกับลำดับข้อมูลที่ยาวได้ แต่จะใช้ทรัพยากรการคำนวณสูงมาก มีวิธีการปรับปรุงและประมาณค่าต่างๆ อยู่มากมาย แต่ก็ยังไม่สามารถขจัดข้อจำกัดด้านขนาดได้อย่างสมบูรณ์
แบบจำลองปริภูมิสถานะไม่สามารถจับภาพความสัมพันธ์ระยะยาวได้
แบบจำลองปริภูมิสถานะได้รับการออกแบบมาโดยเฉพาะเพื่อจับภาพความสัมพันธ์ระยะยาวผ่านสถานะที่ซ่อนเร้นอย่างถาวร แม้ว่าจะทำเช่นนั้นโดยอ้อมแทนที่จะผ่านการเปรียบเทียบโทเค็นอย่างชัดเจนก็ตาม
การใส่ใจตนเองมักได้ผลดีกว่าวิธีการอื่นๆ เสมอ
แม้ว่าการให้ความสนใจตนเองจะมีประสิทธิภาพสูง แต่ก็ไม่ใช่ทางเลือกที่ดีที่สุดเสมอไป ในสถานการณ์ที่มีลำดับเหตุการณ์ยาวนานหรือมีทรัพยากรจำกัด โมเดลพื้นที่สถานะอาจมีประสิทธิภาพและแข่งขันได้มากกว่า
แบบจำลองปริภูมิสถานะล้าสมัยแล้ว เพราะมันมาจากทฤษฎีการควบคุม
แม้ว่าจะมีรากฐานมาจากทฤษฎีการควบคุมแบบคลาสสิก แต่แบบจำลองสถานะสมัยใหม่ได้รับการออกแบบใหม่สำหรับการเรียนรู้เชิงลึกและกำลังได้รับการวิจัยอย่างจริงจังในฐานะทางเลือกที่ปรับขนาดได้แทนสถาปัตยกรรมแบบใช้กลไกความสนใจ
กลไกการให้ความสนใจตนเองยังคงเป็นแนวทางที่โดดเด่นเนื่องจากมีประสิทธิภาพในการแสดงออกและได้รับการสนับสนุนจากระบบนิเวศอย่างแข็งแกร่ง โดยเฉพาะอย่างยิ่งในแบบจำลองภาษาขนาดใหญ่ แบบจำลองพื้นที่สถานะเสนอทางเลือกที่น่าสนใจสำหรับแอปพลิเคชันที่ต้องการประสิทธิภาพสูง โดยเฉพาะอย่างยิ่งในกรณีที่ลำดับความยาวมากทำให้การใช้กลไกการให้ความสนใจมีค่าใช้จ่ายสูงเกินไป ทั้งสองแนวทางน่าจะอยู่ร่วมกันได้ โดยแต่ละแนวทางตอบสนองความต้องการด้านการคำนวณและการใช้งานที่แตกต่างกัน
AI slop หมายถึงเนื้อหา AI ที่ผลิตออกมาจำนวนมากโดยใช้ความพยายามน้อยและขาดการกำกับดูแล ในขณะที่งาน AI ที่มีมนุษย์ควบคุมนั้นเป็นการผสมผสานปัญญาประดิษฐ์เข้ากับการตัดต่อ การกำกับ และการตัดสินใจเชิงสร้างสรรค์อย่างรอบคอบ ความแตกต่างมักอยู่ที่คุณภาพ ความคิดริเริ่ม ประโยชน์ใช้สอย และว่ามีบุคคลจริงเข้ามามีส่วนร่วมในการกำหนดผลลัพธ์สุดท้ายหรือไม่
ระบบ AI แบบกระจายศูนย์จะกระจายสติปัญญา ข้อมูล และการคำนวณไปยังโหนดอิสระต่างๆ โดยมักให้ความสำคัญกับความเปิดกว้างและการควบคุมของผู้ใช้ ในขณะที่ระบบ AI ขององค์กรนั้นได้รับการจัดการจากส่วนกลางโดยบริษัทต่างๆ โดยมุ่งเน้นที่ประสิทธิภาพ ผลกำไร และการบูรณาการผลิตภัณฑ์ ทั้งสองแนวทางนี้มีส่วนกำหนดวิธีการสร้าง การกำกับดูแล และการเข้าถึง AI แต่มีความแตกต่างกันอย่างมากในด้านความโปร่งใส การเป็นเจ้าของ และการควบคุม
Transformer และ Mamba เป็นสถาปัตยกรรมเรียนรู้เชิงลึกที่มีอิทธิพลสองแบบสำหรับการสร้างแบบจำลองลำดับ Transformer อาศัยกลไกความสนใจ (attention mechanisms) เพื่อจับความสัมพันธ์ระหว่างโทเค็น ในขณะที่ Mamba ใช้แบบจำลองพื้นที่สถานะ (state space models) เพื่อการประมวลผลลำดับยาวที่มีประสิทธิภาพมากขึ้น ทั้งสองมีเป้าหมายในการจัดการข้อมูลภาษาและลำดับ แต่มีความแตกต่างกันอย่างมากในด้านประสิทธิภาพ ความสามารถในการขยายขนาด และการใช้หน่วยความจำ
Vision Transformers และ State Space Vision Models เป็นสองแนวทางที่แตกต่างกันโดยพื้นฐานในการทำความเข้าใจภาพ Vision Transformers อาศัยการให้ความสนใจแบบทั่วโลกเพื่อเชื่อมโยงส่วนต่างๆ ของภาพเข้าด้วยกัน ในขณะที่ State Space Vision Models ประมวลผลข้อมูลตามลำดับด้วยหน่วยความจำที่มีโครงสร้าง ซึ่งเป็นทางเลือกที่มีประสิทธิภาพมากกว่าสำหรับการให้เหตุผลเชิงพื้นที่ในระยะไกลและการป้อนข้อมูลที่มีความละเอียดสูง
กระบวนการเรียนรู้ของมนุษย์และอัลกอริธึมการเรียนรู้ของเครื่องจักรต่างก็เกี่ยวข้องกับการพัฒนาประสิทธิภาพผ่านประสบการณ์ แต่ทั้งสองอย่างทำงานในลักษณะที่แตกต่างกันโดยพื้นฐาน มนุษย์อาศัยการรับรู้ อารมณ์ และบริบท ในขณะที่ระบบการเรียนรู้ของเครื่องจักรอาศัยรูปแบบข้อมูล การปรับให้เหมาะสมทางคณิตศาสตร์ และกฎการคำนวณเพื่อทำการคาดการณ์หรือตัดสินใจในงานต่างๆ
