เลเยอร์ความสนใจและการเปลี่ยนสถานะแบบมีโครงสร้างแสดงถึงสองวิธีที่แตกต่างกันโดยพื้นฐานในการสร้างแบบจำลองลำดับในปัญญาประดิษฐ์ ความสนใจจะเชื่อมโยงโทเค็นทั้งหมดเข้าด้วยกันอย่างชัดเจนเพื่อสร้างแบบจำลองบริบทที่สมบูรณ์ ในขณะที่การเปลี่ยนสถานะแบบมีโครงสร้างจะบีบอัดข้อมูลลงในสถานะที่ซ่อนอยู่ซึ่งเปลี่ยนแปลงไปเรื่อยๆ เพื่อการประมวลผลลำดับยาวที่มีประสิทธิภาพมากขึ้น
กลไกเครือข่ายประสาทเทียมที่ช่วยให้โทเค็นแต่ละตัวสามารถโฟกัสไปยังโทเค็นอื่นๆ ทั้งหมดในลำดับได้อย่างไดนามิก
วิธีการสร้างแบบจำลองลำดับ โดยข้อมูลจะถูกส่งผ่านสถานะซ่อนเร้นที่มีโครงสร้าง ซึ่งได้รับการอัปเดตทีละขั้นตอน
| ฟีเจอร์ | ชั้นความสนใจ | การเปลี่ยนสถานะที่มีโครงสร้าง |
|---|---|---|
| กลไกหลัก | การให้ความสนใจแบบโทเค็นต่อโทเค็น | การเปลี่ยนแปลงสถานะเมื่อเวลาผ่านไป |
| การไหลเวียนของข้อมูล | ปฏิสัมพันธ์โดยตรงระดับโลก | หน่วยความจำลำดับแบบบีบอัด |
| ความซับซ้อนเชิงเวลา | กำลังสองของความยาวลำดับ | เชิงเส้นตามความยาวของลำดับ |
| การใช้งานหน่วยความจำ | เหมาะสำหรับลำดับยาวๆ | เสถียรและมีประสิทธิภาพ |
| การประมวลผลแบบขนาน | มีความขนานกันสูงระหว่างโทเค็น | มีลักษณะเป็นลำดับมากกว่า |
| การจัดการบริบท | การเข้าถึงบริบทแบบเต็มอย่างชัดเจน | หน่วยความจำระยะยาวโดยปริยาย |
| ความสามารถในการตีความ | สามารถมองเห็นค่าน้ำหนักความสนใจได้ | สถานะที่ซ่อนอยู่จะตีความได้ยากกว่า |
| กรณีการใช้งานที่ดีที่สุด | การให้เหตุผล, NLP, โมเดลหลายรูปแบบ | ลำดับภาพยาว, การสตรีมมิ่ง, อนุกรมเวลา |
| ความสามารถในการปรับขนาด | มีข้อจำกัดที่ความยาวมาก ๆ | มีความสามารถในการปรับขนาดได้อย่างดีเยี่ยมสำหรับข้อมูลป้อนเข้าที่มีความยาวมาก |
เลเยอร์ความสนใจทำงานโดยให้แต่ละโทเค็นพิจารณาโทเค็นอื่นๆ ในลำดับโดยตรง และตัดสินใจแบบไดนามิกว่าอะไรมีความเกี่ยวข้อง ในขณะที่การเปลี่ยนสถานะแบบมีโครงสร้างจะส่งข้อมูลผ่านสถานะที่ซ่อนอยู่ซึ่งพัฒนาไปทีละขั้นตอน สรุปทุกสิ่งที่เห็นมาจนถึงตอนนี้
กลไกความสนใจ (Attention) มีความสามารถในการแสดงออกสูงมาก เพราะสามารถจำลองความสัมพันธ์แบบคู่ระหว่างโทเค็นได้ทุกรูปแบบ แต่ก็มีต้นทุนการคำนวณสูงเช่นกัน การเปลี่ยนสถานะแบบมีโครงสร้าง (Structured state transitions) มีประสิทธิภาพมากกว่า เพราะหลีกเลี่ยงการเปรียบเทียบแบบคู่โดยตรง แม้ว่าจะอาศัยการบีบอัดข้อมูลมากกว่าการโต้ตอบโดยตรงก็ตาม
เลเยอร์ความสนใจ (Attention layers) จะมีต้นทุนสูงขึ้นเมื่อลำดับยาวขึ้น เนื่องจากต้องคำนวณความสัมพันธ์ระหว่างคู่โทเค็นทั้งหมด โมเดลสถานะที่มีโครงสร้าง (Structured state models) จัดการกับลำดับยาวๆ ได้ดีกว่า เนื่องจากจะอัปเดตและส่งต่อสถานะหน่วยความจำขนาดกะทัดรัดเท่านั้น
กลไกความสนใจ (Attention) สามารถประมวลผลแบบขนานได้สูง เนื่องจากสามารถคำนวณปฏิสัมพันธ์ของโทเค็นทั้งหมดได้ในคราวเดียว ทำให้เหมาะสำหรับ GPU รุ่นใหม่ๆ การเปลี่ยนสถานะแบบมีโครงสร้างนั้นมีลักษณะเป็นลำดับมากกว่า เนื่องจากแต่ละขั้นตอนขึ้นอยู่กับสถานะที่ซ่อนอยู่ก่อนหน้า แม้ว่าการใช้งานที่ได้รับการปรับให้เหมาะสมจะสามารถประมวลผลแบบขนานได้บางส่วนก็ตาม
กลไกความสนใจยังคงเป็นกลไกหลักในแบบจำลองภาษาขนาดใหญ่ เนื่องจากประสิทธิภาพและความยืดหยุ่นสูง แบบจำลองการเปลี่ยนสถานะแบบมีโครงสร้างกำลังได้รับการสำรวจมากขึ้นเรื่อยๆ ในฐานะทางเลือกหรือส่วนเสริม โดยเฉพาะในระบบที่ต้องการการประมวลผลข้อมูลกระแสยาวหรือต่อเนื่องอย่างมีประสิทธิภาพ
ความใส่ใจมักเข้าใจความสัมพันธ์ได้ดีกว่าแบบจำลองสถานะเสมอ
กลไกความสนใจ (Attention) ช่วยให้เกิดปฏิสัมพันธ์ที่ชัดเจนในระดับโทเค็น แต่แบบจำลองสถานะที่มีโครงสร้างยังคงสามารถจับความสัมพันธ์ระยะยาวได้ผ่านพลวัตของหน่วยความจำที่เรียนรู้มา ความแตกต่างมักอยู่ที่ประสิทธิภาพมากกว่าความสามารถโดยรวม
แบบจำลองการเปลี่ยนสถานะไม่สามารถจัดการกับการให้เหตุผลที่ซับซ้อนได้
โมเดลเหล่านี้สามารถจำลองรูปแบบที่ซับซ้อนได้ แต่ต้องอาศัยการแสดงผลแบบบีบอัดมากกว่าการเปรียบเทียบแบบคู่โดยตรง ประสิทธิภาพขึ้นอยู่กับการออกแบบสถาปัตยกรรมและการฝึกฝนเป็นอย่างมาก
สมาธิมักจะช้าเกินไปที่จะนำไปใช้ในทางปฏิบัติเสมอ
แม้ว่ากลไกความสนใจจะมีความซับซ้อนในระดับกำลังสอง แต่การปรับปรุงประสิทธิภาพและการพัฒนาในระดับฮาร์ดแวร์มากมายทำให้มันสามารถนำไปใช้ได้จริงในแอปพลิเคชันต่างๆ มากมาย
โมเดลสถานะที่มีโครงสร้างก็คือโครงข่ายประสาทเทียมแบบวนซ้ำ (RNN) รุ่นเก่านั่นเอง
วิธีการแบบ state space สมัยใหม่มีโครงสร้างทางคณิตศาสตร์ที่ชัดเจนและเสถียรกว่า RNN แบบดั้งเดิม ทำให้สามารถรองรับลำดับข้อมูลที่ยาวได้ดีกว่ามาก
ทั้งสองวิธีทำหน้าที่เหมือนกันภายในระบบ
โดยพื้นฐานแล้วทั้งสองอย่างแตกต่างกัน: กลไกความสนใจ (attention) ทำการเปรียบเทียบแบบคู่โดยตรง ในขณะที่การเปลี่ยนสถานะ (state transition) พัฒนาหน่วยความจำแบบบีอัดไปตามกาลเวลา
เลเยอร์ความสนใจ (Attention layers) โดดเด่นในด้านการให้เหตุผลที่ยืดหยุ่นและมีความแม่นยำสูง โดยการจำลองความสัมพันธ์ระหว่างโทเค็นทั้งหมดโดยตรง ทำให้เป็นตัวเลือกเริ่มต้นสำหรับโมเดลภาษาสมัยใหม่ส่วนใหญ่ การเปลี่ยนสถานะแบบมีโครงสร้าง (Structured state transitions) ให้ความสำคัญกับประสิทธิภาพและความสามารถในการขยายขนาด ทำให้เหมาะสำหรับลำดับที่ยาวมากและข้อมูลต่อเนื่อง ตัวเลือกที่ดีที่สุดขึ้นอยู่กับว่าให้ความสำคัญกับการโต้ตอบที่แสดงออกได้ดีหรือการประมวลผลหน่วยความจำที่ขยายขนาดได้
AI slop หมายถึงเนื้อหา AI ที่ผลิตออกมาจำนวนมากโดยใช้ความพยายามน้อยและขาดการกำกับดูแล ในขณะที่งาน AI ที่มีมนุษย์ควบคุมนั้นเป็นการผสมผสานปัญญาประดิษฐ์เข้ากับการตัดต่อ การกำกับ และการตัดสินใจเชิงสร้างสรรค์อย่างรอบคอบ ความแตกต่างมักอยู่ที่คุณภาพ ความคิดริเริ่ม ประโยชน์ใช้สอย และว่ามีบุคคลจริงเข้ามามีส่วนร่วมในการกำหนดผลลัพธ์สุดท้ายหรือไม่
ระบบ AI แบบกระจายศูนย์จะกระจายสติปัญญา ข้อมูล และการคำนวณไปยังโหนดอิสระต่างๆ โดยมักให้ความสำคัญกับความเปิดกว้างและการควบคุมของผู้ใช้ ในขณะที่ระบบ AI ขององค์กรนั้นได้รับการจัดการจากส่วนกลางโดยบริษัทต่างๆ โดยมุ่งเน้นที่ประสิทธิภาพ ผลกำไร และการบูรณาการผลิตภัณฑ์ ทั้งสองแนวทางนี้มีส่วนกำหนดวิธีการสร้าง การกำกับดูแล และการเข้าถึง AI แต่มีความแตกต่างกันอย่างมากในด้านความโปร่งใส การเป็นเจ้าของ และการควบคุม
Transformer และ Mamba เป็นสถาปัตยกรรมเรียนรู้เชิงลึกที่มีอิทธิพลสองแบบสำหรับการสร้างแบบจำลองลำดับ Transformer อาศัยกลไกความสนใจ (attention mechanisms) เพื่อจับความสัมพันธ์ระหว่างโทเค็น ในขณะที่ Mamba ใช้แบบจำลองพื้นที่สถานะ (state space models) เพื่อการประมวลผลลำดับยาวที่มีประสิทธิภาพมากขึ้น ทั้งสองมีเป้าหมายในการจัดการข้อมูลภาษาและลำดับ แต่มีความแตกต่างกันอย่างมากในด้านประสิทธิภาพ ความสามารถในการขยายขนาด และการใช้หน่วยความจำ
Vision Transformers และ State Space Vision Models เป็นสองแนวทางที่แตกต่างกันโดยพื้นฐานในการทำความเข้าใจภาพ Vision Transformers อาศัยการให้ความสนใจแบบทั่วโลกเพื่อเชื่อมโยงส่วนต่างๆ ของภาพเข้าด้วยกัน ในขณะที่ State Space Vision Models ประมวลผลข้อมูลตามลำดับด้วยหน่วยความจำที่มีโครงสร้าง ซึ่งเป็นทางเลือกที่มีประสิทธิภาพมากกว่าสำหรับการให้เหตุผลเชิงพื้นที่ในระยะไกลและการป้อนข้อมูลที่มีความละเอียดสูง
กระบวนการเรียนรู้ของมนุษย์และอัลกอริธึมการเรียนรู้ของเครื่องจักรต่างก็เกี่ยวข้องกับการพัฒนาประสิทธิภาพผ่านประสบการณ์ แต่ทั้งสองอย่างทำงานในลักษณะที่แตกต่างกันโดยพื้นฐาน มนุษย์อาศัยการรับรู้ อารมณ์ และบริบท ในขณะที่ระบบการเรียนรู้ของเครื่องจักรอาศัยรูปแบบข้อมูล การปรับให้เหมาะสมทางคณิตศาสตร์ และกฎการคำนวณเพื่อทำการคาดการณ์หรือตัดสินใจในงานต่างๆ
