ปัจจุบันโมเดล Transformer ครองตลาด AI สมัยใหม่เนื่องจากความสามารถในการปรับขนาด ประสิทธิภาพสูง และระบบนิเวศที่เติบโตเต็มที่ แต่สถาปัตยกรรมใหม่ๆ เช่น โมเดล State Space และโมเดล Linear Sequence กำลังท้าทายพวกมันด้วยการนำเสนอการประมวลผลบริบทระยะยาวที่มีประสิทธิภาพมากขึ้น สาขานี้กำลังพัฒนาอย่างรวดเร็วเนื่องจากนักวิจัยพยายามสร้างสมดุลระหว่างประสิทธิภาพ ต้นทุน และความสามารถในการปรับขนาดสำหรับระบบ AI รุ่นต่อไป
โมเดลที่ใช้ Transformer อาศัยกลไกการให้ความสนใจตนเอง (self-attention mechanisms) และได้กลายเป็นรากฐานของระบบภาษาขนาดใหญ่และระบบมัลติโมดอลสมัยใหม่ส่วนใหญ่
แนวทางการสร้างแบบจำลองลำดับแบบใหม่ เช่น แบบจำลองปริภูมิสถานะ กลไกความสนใจเชิงเส้น และระบบไฮบริด มีเป้าหมายเพื่อปรับปรุงประสิทธิภาพและการจัดการบริบทที่ยาวนานขึ้น
| ฟีเจอร์ | หม้อแปลงไฟฟ้าแบบครอบงำ | ทางเลือกใหม่ทางสถาปัตยกรรมที่กำลังเกิดขึ้น |
|---|---|---|
| กลไกหลัก | การให้ความสนใจตนเองในทุกโทเค็น | วิวัฒนาการของสถานะหรือการสร้างแบบจำลองลำดับเชิงเส้น |
| ความซับซ้อนในการคำนวณ | กำลังสองที่มีความยาวลำดับ | มักจะเป็นเชิงเส้นหรือเกือบเชิงเส้น |
| การจัดการบริบทระยะยาว | มีข้อจำกัดหากไม่มีการปรับแต่งให้เหมาะสม | ออกแบบมาเพื่อเพิ่มประสิทธิภาพยิ่งขึ้น |
| ความเสถียรในการฝึกฝน | ปรับแต่งมาอย่างดีและเสถียรมาก | พัฒนาขึ้นแต่ยังไม่สมบูรณ์ |
| ความสมบูรณ์ของระบบนิเวศ | มีความสมบูรณ์และเป็นที่ยอมรับอย่างกว้างขวาง | เกิดใหม่และพัฒนาอย่างรวดเร็ว |
| ประสิทธิภาพการอนุมาน | หนักกว่าสำหรับลำดับภาพยาวๆ | มีประสิทธิภาพมากกว่าสำหรับลำดับที่ยาว |
| ความยืดหยุ่นในหลากหลายด้าน | โดดเด่นทั้งด้านข้อความ ภาพ และเสียง | มีแนวโน้มที่ดี แต่ยังไม่ครอบคลุมทั่วถึง |
| การเพิ่มประสิทธิภาพฮาร์ดแวร์ | ปรับแต่งมาเป็นพิเศษเพื่อใช้งานกับ GPU/TPU อย่างเหมาะสมที่สุด | ยังคงปรับตัวให้เข้ากับฮาร์ดแวร์ต่างๆ อยู่ |
ทรานส์ฟอร์เมอร์อาศัยกลไกการให้ความสนใจตนเอง (self-attention) ซึ่งโทเค็นทุกตัวจะโต้ตอบกับโทเค็นอื่นๆ ทุกตัวในลำดับ ทำให้เกิดการแสดงผลที่มีความซับซ้อนสูง แต่ก็เพิ่มต้นทุนการคำนวณด้วย สถาปัตยกรรมใหม่ๆ จึงเข้ามาแทนที่ด้วยการเปลี่ยนสถานะแบบมีโครงสร้างหรือกลไกการให้ความสนใจที่เรียบง่ายกว่า โดยมุ่งเป้าไปที่การประมวลผลลำดับที่มีประสิทธิภาพมากขึ้นโดยไม่ต้องมีการโต้ตอบระหว่างโทเค็นแบบคู่เต็มรูปแบบ
ข้อจำกัดที่สำคัญที่สุดอย่างหนึ่งของทรานส์ฟอร์เมอร์คือ การประมวลผลที่เพิ่มขึ้นแบบกำลังสองตามความยาวของลำดับ ซึ่งจะทำให้สิ้นเปลืองทรัพยากรมากสำหรับอินพุตที่ยาวมาก สถาปัตยกรรมใหม่มุ่งเน้นไปที่การประมวลผลที่เพิ่มขึ้นแบบเชิงเส้นหรือใกล้เคียงเชิงเส้น ทำให้มีความน่าสนใจมากขึ้นสำหรับงานต่างๆ เช่น การประมวลผลเอกสารยาวๆ สตรีมข้อมูลต่อเนื่อง หรือแอปพลิเคชันที่ใช้หน่วยความจำสูง
ปัจจุบันโมเดล Transformer ยังคงครองความเป็นผู้นำอย่างแข็งแกร่งในด้านประสิทธิภาพโดยทั่วไป โดยเฉพาะอย่างยิ่งในโมเดลที่ได้รับการฝึกฝนล่วงหน้าขนาดใหญ่ โมเดลที่เกิดขึ้นใหม่สามารถเทียบเท่าหรือเข้าใกล้โมเดล Transformer ได้ในบางโดเมน โดยเฉพาะอย่างยิ่งการให้เหตุผลในบริบทที่ยาว แต่พวกมันยังคงตามหลังอยู่ทั้งในด้านการครองความเป็นเลิศในเกณฑ์มาตรฐานและการนำไปใช้งานจริง
ระบบนิเวศของ Transformer นั้นมีความสมบูรณ์อย่างมาก มีไลบรารีที่ได้รับการปรับแต่งอย่างเหมาะสม จุดตรวจสอบการฝึกฝนล่วงหน้า และการสนับสนุนจากอุตสาหกรรมอย่างกว้างขวาง ในทางตรงกันข้าม สถาปัตยกรรมทางเลือกอื่นๆ ยังคงอยู่ในระหว่างการพัฒนาเครื่องมือ ทำให้ยากต่อการนำไปใช้งานในวงกว้าง แม้ว่าจะมีข้อได้เปรียบทางทฤษฎีก็ตาม
ทรานส์ฟอร์เมอร์ต้องการการปรับเปลี่ยน เช่น การใช้กลไกความสนใจแบบเบาบาง (sparse attention) หรือหน่วยความจำภายนอก เพื่อจัดการกับบริบทที่ยาวได้อย่างมีประสิทธิภาพ สถาปัตยกรรมทางเลือกอื่นๆ มักถูกออกแบบโดยเน้นประสิทธิภาพในการจัดการบริบทที่ยาวเป็นหลัก ทำให้สามารถประมวลผลลำดับที่ยาวขึ้นได้อย่างเป็นธรรมชาติและใช้หน่วยความจำน้อยลง
แทนที่จะเป็นการทดแทนโดยสมบูรณ์ แนวทางในปัจจุบันกำลังมุ่งไปสู่ระบบไฮบริดที่ผสมผสานกลไกความสนใจแบบ Transformer เข้ากับโมเดลสถานะที่มีโครงสร้าง ทิศทางไฮบริดนี้มีเป้าหมายเพื่อรักษาความยืดหยุ่นของ Transformer ไว้ ในขณะเดียวกันก็ผสานรวมข้อดีด้านประสิทธิภาพของสถาปัตยกรรมรุ่นใหม่ๆ เข้าไปด้วย
หม้อแปลงไฟฟ้าจะถูกเปลี่ยนใหม่ทั้งหมดในอนาคตอันใกล้นี้
แม้ว่าทางเลือกอื่นๆ จะพัฒนาไปอย่างรวดเร็ว แต่หม้อแปลงไฟฟ้ายังคงครองตลาดการใช้งานจริงเนื่องจากความแข็งแกร่งและความน่าเชื่อถือของระบบนิเวศ การทดแทนหม้อแปลงไฟฟ้าทั้งหมดจึงไม่น่าจะเกิดขึ้นในระยะสั้น
สถาปัตยกรรมใหม่มักมีประสิทธิภาพเหนือกว่าหม้อแปลงไฟฟ้าเสมอ
แบบจำลองที่เกิดขึ้นใหม่มักมีความโดดเด่นในด้านเฉพาะ เช่น ประสิทธิภาพในบริบทระยะยาว แต่อาจด้อยกว่าในด้านการให้เหตุผลทั่วไปหรือประสิทธิภาพในการเปรียบเทียบมาตรฐานขนาดใหญ่
ทรานส์ฟอร์เมอร์ไม่สามารถจัดการกับลำดับที่ยาวได้เลย
Transformer สามารถประมวลผลบริบทที่ยาวได้โดยใช้เทคนิคต่างๆ เช่น sparse attention, sliding windows และ extended context variants แม้ว่าจะมีต้นทุนที่สูงกว่าก็ตาม
แบบจำลองปริภูมิสถานะเป็นเพียงทรานส์ฟอร์เมอร์แบบง่ายๆ
แบบจำลองปริภูมิสถานะแสดงถึงแนวทางที่แตกต่างอย่างสิ้นเชิง โดยอาศัยพลวัตแบบต่อเนื่องตามเวลาและการเปลี่ยนสถานะที่มีโครงสร้าง แทนที่จะใช้กลไกความสนใจ
สถาปัตยกรรมใหม่ ๆ ที่กำลังเกิดขึ้นนั้นพร้อมใช้งานสำหรับการผลิตแล้ว
หลายผลิตภัณฑ์ยังอยู่ในขั้นตอนการวิจัยหรือขั้นตอนการนำไปใช้ในระยะเริ่มต้น โดยมีการใช้งานในวงกว้างอย่างจำกัดเมื่อเทียบกับหม้อแปลงไฟฟ้า
สถาปัตยกรรม Transformer ยังคงเป็นสถาปัตยกรรมหลักใน AI สมัยใหม่ เนื่องจากระบบนิเวศที่ไม่มีใครเทียบได้และประสิทธิภาพโดยรวมที่แข็งแกร่ง อย่างไรก็ตาม สถาปัตยกรรมที่เกิดขึ้นใหม่ไม่ได้เป็นเพียงทางเลือกเชิงทฤษฎีเท่านั้น แต่ยังเป็นคู่แข่งที่ใช้งานได้จริงในสถานการณ์ที่ต้องการประสิทธิภาพสูง อนาคตที่น่าจะเป็นไปได้มากที่สุดคือภูมิทัศน์แบบผสมผสานที่ทั้งสองแนวทางอยู่ร่วมกัน ขึ้นอยู่กับข้อกำหนดของงาน
AI slop หมายถึงเนื้อหา AI ที่ผลิตออกมาจำนวนมากโดยใช้ความพยายามน้อยและขาดการกำกับดูแล ในขณะที่งาน AI ที่มีมนุษย์ควบคุมนั้นเป็นการผสมผสานปัญญาประดิษฐ์เข้ากับการตัดต่อ การกำกับ และการตัดสินใจเชิงสร้างสรรค์อย่างรอบคอบ ความแตกต่างมักอยู่ที่คุณภาพ ความคิดริเริ่ม ประโยชน์ใช้สอย และว่ามีบุคคลจริงเข้ามามีส่วนร่วมในการกำหนดผลลัพธ์สุดท้ายหรือไม่
ระบบ AI แบบกระจายศูนย์จะกระจายสติปัญญา ข้อมูล และการคำนวณไปยังโหนดอิสระต่างๆ โดยมักให้ความสำคัญกับความเปิดกว้างและการควบคุมของผู้ใช้ ในขณะที่ระบบ AI ขององค์กรนั้นได้รับการจัดการจากส่วนกลางโดยบริษัทต่างๆ โดยมุ่งเน้นที่ประสิทธิภาพ ผลกำไร และการบูรณาการผลิตภัณฑ์ ทั้งสองแนวทางนี้มีส่วนกำหนดวิธีการสร้าง การกำกับดูแล และการเข้าถึง AI แต่มีความแตกต่างกันอย่างมากในด้านความโปร่งใส การเป็นเจ้าของ และการควบคุม
Transformer และ Mamba เป็นสถาปัตยกรรมเรียนรู้เชิงลึกที่มีอิทธิพลสองแบบสำหรับการสร้างแบบจำลองลำดับ Transformer อาศัยกลไกความสนใจ (attention mechanisms) เพื่อจับความสัมพันธ์ระหว่างโทเค็น ในขณะที่ Mamba ใช้แบบจำลองพื้นที่สถานะ (state space models) เพื่อการประมวลผลลำดับยาวที่มีประสิทธิภาพมากขึ้น ทั้งสองมีเป้าหมายในการจัดการข้อมูลภาษาและลำดับ แต่มีความแตกต่างกันอย่างมากในด้านประสิทธิภาพ ความสามารถในการขยายขนาด และการใช้หน่วยความจำ
Vision Transformers และ State Space Vision Models เป็นสองแนวทางที่แตกต่างกันโดยพื้นฐานในการทำความเข้าใจภาพ Vision Transformers อาศัยการให้ความสนใจแบบทั่วโลกเพื่อเชื่อมโยงส่วนต่างๆ ของภาพเข้าด้วยกัน ในขณะที่ State Space Vision Models ประมวลผลข้อมูลตามลำดับด้วยหน่วยความจำที่มีโครงสร้าง ซึ่งเป็นทางเลือกที่มีประสิทธิภาพมากกว่าสำหรับการให้เหตุผลเชิงพื้นที่ในระยะไกลและการป้อนข้อมูลที่มีความละเอียดสูง
กระบวนการเรียนรู้ของมนุษย์และอัลกอริธึมการเรียนรู้ของเครื่องจักรต่างก็เกี่ยวข้องกับการพัฒนาประสิทธิภาพผ่านประสบการณ์ แต่ทั้งสองอย่างทำงานในลักษณะที่แตกต่างกันโดยพื้นฐาน มนุษย์อาศัยการรับรู้ อารมณ์ และบริบท ในขณะที่ระบบการเรียนรู้ของเครื่องจักรอาศัยรูปแบบข้อมูล การปรับให้เหมาะสมทางคณิตศาสตร์ และกฎการคำนวณเพื่อทำการคาดการณ์หรือตัดสินใจในงานต่างๆ
