โดยทั่วไปแล้ว โมเดล Transformer มักมีต้นทุนการฝึกฝนสูงเนื่องจากความซับซ้อนของกลไก Attention ที่เป็นกำลังสองและความต้องการแบนด์วิดท์หน่วยความจำขนาดใหญ่ ในขณะที่โมเดล State Space แบบ Mamba ช่วยเพิ่มประสิทธิภาพโดยการแทนที่กลไก Attention ด้วย Structured State Evolution และการสแกนแบบเลือกตามเวลาเชิงเส้น ผลลัพธ์ที่ได้คือการเปลี่ยนแปลงพื้นฐานในวิธีการที่โมเดลลำดับปรับขนาดระหว่างการฝึกฝนในบริบทที่ยาว
โครงสร้างโครงข่ายประสาทเทียมแบบใช้ความสนใจ (Attention-based neural architectures) ที่จำลองความสัมพันธ์ระหว่างคู่โทเค็นทั้งหมดในลำดับโดยใช้กลไกความสนใจในตนเอง (self-attention)
แบบจำลองลำดับที่อิงตามพลวัตของปริภูมิสถานะที่มีโครงสร้างและการสแกนแบบเลือกสรรเพื่อการประมวลผลลำดับยาวอย่างมีประสิทธิภาพ
| ฟีเจอร์ | ทรานส์ฟอร์เมอร์ส | แมมบา (แบบจำลองปริภูมิสถานะ) |
|---|---|---|
| การคำนวณหลัก | การให้ความสนใจตนเองแบบจับคู่ระหว่างโทเค็นทั้งหมด | วิวัฒนาการของปริภูมิสถานะด้วยการสแกนแบบเลือกสรร |
| ความซับซ้อนของการฝึกอบรม | กำลังสองที่มีความยาวลำดับ | มีความสัมพันธ์เชิงเส้นโดยประมาณกับความยาวของลำดับ |
| การใช้งานหน่วยความจำ | สูงเนื่องจากเมทริกซ์ความสนใจ | ลดลงเนื่องจากการแสดงสถานะแบบบีบอัด |
| การประมวลผลแบบขนาน | มีความขนานกันสูงระหว่างโทเค็น | เรียงลำดับมากขึ้นแต่ปรับให้เหมาะสมกับเคอร์เนล |
| การจัดการบริบทระยะยาว | ค่าใช้จ่ายจะสูงขึ้นเมื่อลำดับเพิ่มขึ้น | การปรับขนาดอย่างมีประสิทธิภาพสำหรับลำดับยาวๆ |
| ประสิทธิภาพของฮาร์ดแวร์ | ต้องใช้การประมวลผลสูงและแบนด์วิดท์มาก | ปรับให้เหมาะสมสำหรับการสแกนที่คำนึงถึงหน่วยความจำ |
| ความซับซ้อนในการนำไปใช้ | กรอบการทำงานและเครื่องมือที่เป็นที่ยอมรับ | การใช้งานเคอร์เนลแบบใหม่ที่เฉพาะเจาะจงมากขึ้น |
| กลยุทธ์ด้านความสามารถในการขยายขนาด | ปรับขนาดตามขนาดของโมเดลและการคำนวณ | ปรับขนาดผ่านประสิทธิภาพของลำดับและพลวัตเชิงโครงสร้าง |
โมเดล Transformer อาศัยกลไก self-attention ซึ่งแต่ละโทเค็นจะโต้ตอบกับทุกโทเค็นอื่นในลำดับ ทำให้การคำนวณและหน่วยความจำเพิ่มขึ้นแบบกำลังสองเมื่อลำดับยาวขึ้น โมเดล Mamba แทนที่กลไกนี้ด้วยการอัปเดตสถานะแบบมีโครงสร้าง ทำให้ข้อมูลไหลผ่านสถานะซ่อนเร้นที่ถูกบีอัด ซึ่งช่วยลดต้นทุนการฝึกฝนลงอย่างมากเมื่อความยาวของลำดับเพิ่มขึ้น
ระหว่างการฝึกฝน Transformer จำเป็นต้องจัดเก็บแผนที่ความสนใจระดับกลางขนาดใหญ่สำหรับการย้อนกลับการแพร่กระจาย ซึ่งอาจกลายเป็นคอขวดในงานที่ใช้หน่วยความจำมาก Mamba หลีกเลี่ยงการใช้เมทริกซ์ความสนใจแบบจับคู่โดยตรง และใช้กลไกแบบสแกนแทน ซึ่งช่วยให้การใช้หน่วยความจำใกล้เคียงกับการปรับขนาดเชิงเส้นมากขึ้น ปรับปรุงประสิทธิภาพโดยเฉพาะกับลำดับที่ยาว
Transformer มีความสามารถในการประมวลผลแบบขนานสูงและได้รับประโยชน์จาก Tensor Core ของ GPU แต่การทำงานของ Attention อาจถูกจำกัดด้วยแบนด์วิดท์ของหน่วยความจำเมื่อใช้งานในขนาดใหญ่ โมเดลแบบ Mamba ถูกออกแบบมาให้สอดคล้องกับรูปแบบการเข้าถึงหน่วยความจำแบบลำดับได้ดีกว่า ทำให้มีประสิทธิภาพสำหรับฮาร์ดแวร์เคอร์เนลสมัยใหม่ที่ได้รับการปรับให้เหมาะสมสำหรับการประมวลผลแบบสตรีมมิ่ง
เมื่อความยาวของลำดับเพิ่มขึ้น ต้นทุนการฝึกฝนของ Transformer ก็จะเพิ่มขึ้นอย่างรวดเร็วเนื่องจากเมทริกซ์ความสนใจที่ขยายตัว ในทางตรงกันข้าม Mamba รักษาพฤติกรรมการปรับขนาดที่เสถียรกว่า เนื่องจากไม่ได้คำนวณปฏิสัมพันธ์ระหว่างโทเค็นอย่างชัดเจน ทำให้เหมาะสมกว่าสำหรับบริบทที่ยาวมากหรือสตรีมข้อมูลต่อเนื่อง
Transformer มีความสามารถในการแสดงออกสูง เนื่องจากโทเค็นทุกตัวสามารถโต้ตอบกับโทเค็นอื่นๆ ได้โดยตรง ซึ่งมักนำไปสู่ประสิทธิภาพที่ดีขึ้นในงานการให้เหตุผลที่ซับซ้อน Mamba ให้ความสำคัญกับประสิทธิภาพและการสร้างแบบจำลองในบริบทระยะยาว โดยแลกเปลี่ยนความยืดหยุ่นในการโต้ตอบที่ชัดเจนบางส่วนกับคุณลักษณะด้านต้นทุนการฝึกอบรมที่ดีขึ้นอย่างมาก
หม้อแปลงไฟฟ้ามีราคาแพงเกินไปเสมอสำหรับการฝึกฝนเพื่อใช้งานจริง
แม้ว่า Transformer อาจมีต้นทุนสูงเมื่อลำดับมีความยาวมาก แต่ก็ได้รับการปรับแต่งอย่างดีและยังคงมีประสิทธิภาพสำหรับงานในโลกแห่งความเป็นจริงหลายอย่าง โดยเฉพาะอย่างยิ่งกับฮาร์ดแวร์สมัยใหม่และรูปแบบ Attention ที่ได้รับการปรับแต่งอย่างเหมาะสม
โมเดล Mamba ช่วยขจัดความจำเป็นในการใช้ทรัพยากรประมวลผลขนาดใหญ่ได้อย่างสิ้นเชิง
Mamba ช่วยลดต้นทุนในการขยายขนาด แต่ยังคงต้องการพลังการประมวลผลจำนวนมากสำหรับโมเดลขนาดใหญ่ การปรับปรุงประสิทธิภาพส่วนใหญ่มาจากการจัดการลำดับ ไม่ใช่จากการกำจัดความซับซ้อนในการฝึกอบรมโดยสิ้นเชิง
ทรานส์ฟอร์เมอร์ไม่สามารถจัดการกับลำดับที่ยาวได้เลย
Transformer สามารถจัดการกับลำดับข้อมูลที่ยาวได้โดยใช้การปรับแต่งต่างๆ เช่น sparse attention หรือ sliding windows แม้ว่าการปรับแต่งเหล่านี้มักจะทำให้เกิดข้อเสียในด้านความแม่นยำหรือความยืดหยุ่นก็ตาม
แมมบ้าก็แค่ทรานส์ฟอร์เมอร์ที่เร็วกว่าเท่านั้นเอง
Mamba ใช้กรอบทางคณิตศาสตร์ที่แตกต่างออกไป โดยใช้แบบจำลองสถานะ (state space models) แทนกลไกความสนใจ (attention) ดังนั้นจึงแสดงถึงแนวทางการออกแบบสถาปัตยกรรมที่แตกต่างออกไป ไม่ใช่การปรับปรุงประสิทธิภาพของ Transformer โดยตรง
โมเดล Transformer ยังคงทรงพลัง แต่มีค่าใช้จ่ายในการฝึกฝนสูง โดยเฉพาะอย่างยิ่งกับลำดับข้อมูลที่ยาว เนื่องจากต้นทุนของกลไก Attention ที่เป็นกำลังสอง โมเดลแบบ Mamba นำเสนอทางเลือกที่ฝึกฝนได้มีประสิทธิภาพมากกว่า โดยใช้การวิวัฒนาการสถานะแบบเชิงเส้น ทำให้เป็นที่น่าสนใจสำหรับงานที่มีบริบทข้อมูลยาว ทางเลือกที่ดีที่สุดขึ้นอยู่กับว่าความสามารถในการแสดงออกอย่างดิบๆ หรือประสิทธิภาพในการฝึกฝนเป็นข้อจำกัดหลัก
AI slop หมายถึงเนื้อหา AI ที่ผลิตออกมาจำนวนมากโดยใช้ความพยายามน้อยและขาดการกำกับดูแล ในขณะที่งาน AI ที่มีมนุษย์ควบคุมนั้นเป็นการผสมผสานปัญญาประดิษฐ์เข้ากับการตัดต่อ การกำกับ และการตัดสินใจเชิงสร้างสรรค์อย่างรอบคอบ ความแตกต่างมักอยู่ที่คุณภาพ ความคิดริเริ่ม ประโยชน์ใช้สอย และว่ามีบุคคลจริงเข้ามามีส่วนร่วมในการกำหนดผลลัพธ์สุดท้ายหรือไม่
ระบบ AI แบบกระจายศูนย์จะกระจายสติปัญญา ข้อมูล และการคำนวณไปยังโหนดอิสระต่างๆ โดยมักให้ความสำคัญกับความเปิดกว้างและการควบคุมของผู้ใช้ ในขณะที่ระบบ AI ขององค์กรนั้นได้รับการจัดการจากส่วนกลางโดยบริษัทต่างๆ โดยมุ่งเน้นที่ประสิทธิภาพ ผลกำไร และการบูรณาการผลิตภัณฑ์ ทั้งสองแนวทางนี้มีส่วนกำหนดวิธีการสร้าง การกำกับดูแล และการเข้าถึง AI แต่มีความแตกต่างกันอย่างมากในด้านความโปร่งใส การเป็นเจ้าของ และการควบคุม
Transformer และ Mamba เป็นสถาปัตยกรรมเรียนรู้เชิงลึกที่มีอิทธิพลสองแบบสำหรับการสร้างแบบจำลองลำดับ Transformer อาศัยกลไกความสนใจ (attention mechanisms) เพื่อจับความสัมพันธ์ระหว่างโทเค็น ในขณะที่ Mamba ใช้แบบจำลองพื้นที่สถานะ (state space models) เพื่อการประมวลผลลำดับยาวที่มีประสิทธิภาพมากขึ้น ทั้งสองมีเป้าหมายในการจัดการข้อมูลภาษาและลำดับ แต่มีความแตกต่างกันอย่างมากในด้านประสิทธิภาพ ความสามารถในการขยายขนาด และการใช้หน่วยความจำ
Vision Transformers และ State Space Vision Models เป็นสองแนวทางที่แตกต่างกันโดยพื้นฐานในการทำความเข้าใจภาพ Vision Transformers อาศัยการให้ความสนใจแบบทั่วโลกเพื่อเชื่อมโยงส่วนต่างๆ ของภาพเข้าด้วยกัน ในขณะที่ State Space Vision Models ประมวลผลข้อมูลตามลำดับด้วยหน่วยความจำที่มีโครงสร้าง ซึ่งเป็นทางเลือกที่มีประสิทธิภาพมากกว่าสำหรับการให้เหตุผลเชิงพื้นที่ในระยะไกลและการป้อนข้อมูลที่มีความละเอียดสูง
กระบวนการเรียนรู้ของมนุษย์และอัลกอริธึมการเรียนรู้ของเครื่องจักรต่างก็เกี่ยวข้องกับการพัฒนาประสิทธิภาพผ่านประสบการณ์ แต่ทั้งสองอย่างทำงานในลักษณะที่แตกต่างกันโดยพื้นฐาน มนุษย์อาศัยการรับรู้ อารมณ์ และบริบท ในขณะที่ระบบการเรียนรู้ของเครื่องจักรอาศัยรูปแบบข้อมูล การปรับให้เหมาะสมทางคณิตศาสตร์ และกฎการคำนวณเพื่อทำการคาดการณ์หรือตัดสินใจในงานต่างๆ
