การดึงข้อมูลบริบทจะดึงข้อมูลภายนอกตามความต้องการ ในขณะที่หน่วยความจำแบบพารามิเตอร์จะจัดเก็บความรู้ที่ฝังอยู่ในน้ำหนักของโมเดลระหว่างการฝึกฝน ทั้งสองอย่างนี้มีส่วนกำหนดวิธีการที่โมเดลภาษาขนาดใหญ่ตอบคำถาม แต่มีความแตกต่างกันอย่างมากในด้านความยืดหยุ่น ความแม่นยำ และความสามารถในการอัปเดต การทำความเข้าใจข้อดีข้อเสียของทั้งสองวิธีนี้ช่วยอธิบายว่าทำไมระบบ AI สมัยใหม่จึงมักผสมผสานทั้งสองแนวทางเข้าด้วยกัน
วิธีการที่แบบจำลองระดับล่าง (LLM) ดึงข้อมูลภายนอกที่เกี่ยวข้องในขั้นตอนการอนุมาน เพื่อให้คำตอบของแบบจำลองนั้นอิงอยู่กับความรู้ที่ทันสมัยหรือเฉพาะทาง
ความรู้ถูกเข้ารหัสโดยตรงลงในพารามิเตอร์หลายพันล้านตัวของแบบจำลองภาษา ผ่านการฝึกฝนเบื้องต้นและการปรับแต่งอย่างละเอียด
| ฟีเจอร์ | การดึงข้อมูลบริบท | หน่วยความจำพาราเมตริกใน LLM |
|---|---|---|
| สถานที่จัดเก็บความรู้ | ฐานข้อมูลเวกเตอร์ภายนอกหรือที่เก็บเอกสาร | เข้ารหัสไว้ภายในน้ำหนัก (พารามิเตอร์) ของโมเดล |
| วิธีการอัปเดต | เพิ่มหรือแก้ไขเอกสารในดัชนี | ฝึกฝนหรือปรับแต่งโมเดลใหม่ |
| ผลกระทบจากความล่าช้า | เพิ่มภาระในการดึงข้อมูล (โดยทั่วไป 50-200 มิลลิวินาที) | ไม่มีความล่าช้าเพิ่มเติมใดๆ นอกเหนือจากการอนุมานแบบจำลอง |
| ความเสี่ยงต่ออาการประสาทหลอน | ค่าจะต่ำลงเมื่อการดึงข้อมูลแม่นยำ | คะแนนสูงกว่าสำหรับข้อเท็จจริงที่ไม่ค่อยมีคนรู้จักหรือเพิ่งเกิดขึ้น |
| ความสามารถในการขยายขนาดของความรู้ | ปรับขนาดได้ตามขนาดฐานข้อมูล แทบจะไม่มีขีดจำกัด | ถูกจำกัดด้วยจำนวนพารามิเตอร์และข้อมูลการฝึกฝน |
| ค่าใช้จ่ายในการอัปเดต | ต้นทุนต่ำ (เฉพาะค่าจัดเก็บและจัดทำดัชนี) | สูงมาก (ชั่วโมงการใช้งาน GPU, การเตรียมข้อมูล) |
| การอ้างอิงแหล่งที่มา | สามารถอ้างอิงข้อความและเอกสารได้อย่างแม่นยำ | ไม่สามารถระบุแหล่งฝึกอบรมที่เฉพาะเจาะจงได้ |
| กรณีการใช้งานที่ดีที่สุด | ข้อมูลเฉพาะโดเมนที่เปลี่ยนแปลงบ่อย | ทักษะการคิดวิเคราะห์ทั่วไป ความคล่องแคล่วทางภาษา ความรู้ทั่วไป |
การดึงข้อมูลตามบริบทสร้างองค์ความรู้แบบไดนามิกโดยการจัดทำดัชนีเอกสารและค้นหาเอกสารเหล่านั้นในขณะที่ทำการสอบถาม ตัวแบบจำลองเองยังคงไม่เปลี่ยนแปลง แต่องค์ความรู้ที่มีประสิทธิภาพจะเพิ่มขึ้นทุกครั้งที่คุณขยายชุดเอกสาร หน่วยความจำแบบพาราเมตริกทำงานในทางตรงกันข้าม: องค์ความรู้จะถูกบีบอัดลงในการอัปเดตน้ำหนักระหว่างการฝึกอบรม ดังนั้นแบบจำลองจึงเก็บทุกอย่างไว้ภายใน ความแตกต่างพื้นฐานนี้ส่งผลต่อทุกสิ่งตั้งแต่ต้นทุนไปจนถึงความแม่นยำ
ระบบการค้นหาข้อมูลมักจะเกิดการเข้าใจผิดน้อยกว่าในคำถามเกี่ยวกับข้อเท็จจริง เพราะแบบจำลองสามารถอาศัยข้อความต้นฉบับจริงแทนที่จะเดาจากรูปแบบ อย่างไรก็ตาม หากระบบค้นหาดึงเอกสารที่ไม่เกี่ยวข้องมา แบบจำลองก็ยังคงสามารถสร้างคำตอบที่ผิดได้อย่างมั่นใจ ในขณะที่หน่วยความจำแบบพาราเมตริกมีแนวโน้มที่จะเกิดการบิดเบือนข้อมูลมากกว่า โดยเฉพาะอย่างยิ่งสำหรับหัวข้อเฉพาะกลุ่มหรือเหตุการณ์ล่าสุด เนื่องจากแบบจำลองต้องสร้างข้อเท็จจริงขึ้นใหม่จากข้อมูลที่ถูกบีอัด
การทำให้หน่วยความจำแบบพาราเมตริกเป็นปัจจุบันอยู่เสมอนั้นเป็นเรื่องยาก การเพิ่มข้อมูลใหม่มักหมายถึงการปรับแต่งโมเดล ซึ่งต้องใช้ชุดข้อมูลที่คัดสรรมาอย่างดี เวลาในการประมวลผล และการประเมินอย่างรอบคอบ การดึงข้อมูลตามบริบทช่วยหลีกเลี่ยงปัญหานี้ได้อย่างสิ้นเชิง โดยให้คุณสามารถสลับเอกสารเข้าและออกจากดัชนีได้ ตัวอย่างเช่น องค์กรข่าวสามารถให้หัวข้อข่าวประจำวันนี้แก่แชทบอทผ่านการดึงข้อมูลโดยไม่ต้องแก้ไขน้ำหนักของโมเดล
หน่วยความจำแบบพาราเมตริกต้องการการลงทุนล่วงหน้าจำนวนมากในโครงสร้างพื้นฐานการฝึกอบรม แต่จะคุ้มค่าด้วยการอนุมานที่ราคาถูกและในระดับใหญ่ การดึงข้อมูลจะเปลี่ยนต้นทุนไปที่การบำรุงรักษาฐานข้อมูลเวกเตอร์และการจัดการความหน่วงแฝงที่สูงขึ้นเล็กน้อยต่อการค้นหา สำหรับสตาร์ทอัพ การดึงข้อมูลมักเป็นทางเลือกที่เหมาะสมกว่า เพราะหลีกเลี่ยงการฝึกอบรมที่ใช้งบประมาณหลายล้านดอลลาร์ซึ่งผู้ให้บริการโมเดลพื้นฐานต้องแบกรับ
โมเดลพื้นฐานเพียงโมเดลเดียวสามารถรองรับโดเมนที่แตกต่างกันอย่างมากได้ผ่านการค้นหา เนื่องจากคุณเพียงแค่เปลี่ยนดัชนีเอกสาร ต้องการผู้ช่วยด้านกฎหมายในวันนี้และผู้ช่วยด้านการแพทย์ในวันพรุ่งนี้ใช่ไหม? เปลี่ยนชุดข้อมูลการค้นหาได้เลย หน่วยความจำแบบพาราเมตริกจะฝังความเชี่ยวชาญเฉพาะด้านไว้ในตัวโมเดลเอง ซึ่งเป็นเหตุผลว่าทำไมโมเดลเฉพาะโดเมนอย่าง BloombergGPT จึงมีอยู่ แต่การปรับให้เข้ากับโดเมนใหม่จำเป็นต้องมีการฝึกอบรมใหม่
ระบบการผลิตส่วนใหญ่ในปัจจุบันผสมผสานทั้งสองอย่างเข้าด้วยกัน การดึงข้อมูลจะจัดการกับข้อมูลพื้นฐานและข้อมูลที่เป็นกรรมสิทธิ์ ในขณะที่หน่วยความจำแบบพารามิเตอร์จะให้ความคล่องแคล่วทางภาษา ความสามารถในการให้เหตุผล และความรู้ทั่วไปเกี่ยวกับโลก ซึ่งทำให้การตอบสนองมีความสอดคล้องกัน เฟรมเวิร์กอย่าง LangChain และ LlamaIndex ทำให้การเพิ่มเลเยอร์การดึงข้อมูลลงบนโมเดลพื้นฐานใดๆ ทำได้ง่าย โดยถือว่าความรู้แบบพารามิเตอร์เป็นพื้นฐานและการดึงข้อมูลเป็นการเสริมเพิ่มเติม
RAG ช่วยขจัดอาการประสาทหลอนในผู้ป่วย LLM ได้อย่างสมบูรณ์
การดึงข้อมูลช่วยลดความคลาดเคลื่อนสำหรับคำถามเชิงข้อเท็จจริง แต่ไม่ได้กำจัดความคลาดเคลื่อนนั้นออกไปทั้งหมด หากตัวดึงข้อมูลดึงเอกสารที่ไม่เกี่ยวข้อง หรือหากแบบจำลองละเลยบริบท ความคลาดเคลื่อนก็ยังคงเกิดขึ้น RAG เปลี่ยนปัญหาจากช่องว่างความรู้ไปสู่คุณภาพของการดึงข้อมูล
โมเดลขนาดใหญ่จะจดจำข้อเท็จจริงได้แม่นยำกว่า
ในแง่หนึ่ง โมเดลขนาดใหญ่จะเก็บความรู้ได้มากกว่า แต่ก็มีแนวโน้มที่จะสร้างภาพลวงตาได้มากกว่าเช่นกัน งานวิจัยแสดงให้เห็นว่าแม้แต่ GPT-4 ก็ยังสร้างข้อมูลอ้างอิงและสถิติปลอมขึ้นมา โดยเฉพาะในหัวข้อที่ไม่ได้ปรากฏในข้อมูลฝึกฝนมากนัก
หน่วยความจำแบบพาราเมตริกและการเรียกค้นข้อมูลเป็นแนวทางที่แข่งขันกัน
ทั้งสองอย่างนี้เป็นสิ่งที่เสริมซึ่งกันและกัน ระบบ AI สมัยใหม่เกือบทั้งหมดมักจะผสมผสานทั้งสองอย่างเข้าด้วยกัน โดยใช้ความรู้เชิงพารามิเตอร์สำหรับการให้เหตุผลและความคล่องแคล่วทางภาษา ในขณะที่ใช้การดึงข้อมูลเพื่อสร้างพื้นฐานข้อเท็จจริงและข้อมูลที่เป็นกรรมสิทธิ์
การปรับแต่งอย่างละเอียดช่วยให้โมเดลเรียนรู้ข้อเท็จจริงใหม่ๆ ได้อย่างน่าเชื่อถือ
การปรับแต่งอย่างละเอียดนั้นมีประสิทธิภาพมากกว่าในการสอนเรื่องรูปแบบและสไตล์มากกว่าการเติมความรู้ใหม่เข้าไป แบบจำลองมักไม่สามารถจดจำข้อเท็จจริงที่เรียนรู้ผ่านการปรับแต่งอย่างละเอียดได้อย่างสม่ำเสมอ ซึ่งเป็นปรากฏการณ์ที่นักวิจัยเรียกว่า 'คำสาปแห่งความใหม่' หรือการลืมอย่างหายนะ
ฐานข้อมูลเวกเตอร์เข้าใจความหมายของข้อความ
ฐานข้อมูลเวกเตอร์จัดเก็บการฝังตัวเลขและทำการค้นหาความคล้ายคลึงกัน ฐานข้อมูลเหล่านี้ไม่เข้าใจความหมาย แต่จะค้นหาเวกเตอร์ที่ใกล้เคียงกันทางคณิตศาสตร์เท่านั้น ความหมายจะมาจากแบบจำลองการฝังที่สร้างเวกเตอร์เหล่านั้นขึ้นมา
เลือกใช้การดึงข้อมูลบริบทเมื่อข้อมูลของคุณเปลี่ยนแปลงบ่อย เมื่อคุณต้องการอ้างอิงแหล่งที่มา หรือเมื่อทำงานกับความรู้ที่เป็นกรรมสิทธิ์หรือความรู้เฉพาะทางที่ไม่ได้อยู่ในชุดข้อมูลฝึกฝนของโมเดล ใช้หน่วยความจำแบบพารามิเตอร์สำหรับการให้เหตุผลทั่วไป ความคล่องแคล่วในการสนทนา และสถานการณ์ที่ความหน่วงต่ำมีความสำคัญมากกว่าความถูกต้องแม่นยำของข้อเท็จจริง ในทางปฏิบัติ ระบบที่มีประสิทธิภาพสูงสุดจะผสมผสานทั้งสองอย่าง โดยใช้การดึงข้อมูลเพื่อยืนยันข้อเท็จจริง และใช้ความรู้แบบพารามิเตอร์เพื่อจัดการทุกอย่างที่เหลือ
AI slop หมายถึงเนื้อหา AI ที่ผลิตออกมาจำนวนมากโดยใช้ความพยายามน้อยและขาดการกำกับดูแล ในขณะที่งาน AI ที่มีมนุษย์ควบคุมนั้นเป็นการผสมผสานปัญญาประดิษฐ์เข้ากับการตัดต่อ การกำกับ และการตัดสินใจเชิงสร้างสรรค์อย่างรอบคอบ ความแตกต่างมักอยู่ที่คุณภาพ ความคิดริเริ่ม ประโยชน์ใช้สอย และว่ามีบุคคลจริงเข้ามามีส่วนร่วมในการกำหนดผลลัพธ์สุดท้ายหรือไม่
AI ที่มีมนุษย์เข้ามาเกี่ยวข้อง (Human-in-the-Loop AI) ผสานประสิทธิภาพของเครื่องจักรเข้ากับการตัดสินใจของมนุษย์ในจุดสำคัญ ในขณะที่ระบบ AI อัตโนมัติเต็มรูปแบบ (Fully Automated AI Systems) ทำงานอย่างอิสระตั้งแต่ต้นจนจบ แต่ละแนวทางมีข้อดีข้อเสียที่แตกต่างกันในด้านความแม่นยำ ความสามารถในการขยายขนาด ต้นทุน และความรับผิดชอบ ซึ่งเป็นตัวกำหนดว่าแนวทางใดเหมาะสมกับกรณีการใช้งานนั้นๆ
การเปรียบเทียบทางสถาปัตยกรรมนี้เน้นให้เห็นถึงความแตกต่างหลักระหว่างระบบ AI ที่รับรู้บริบท ซึ่งวิเคราะห์ข้อมูลสถานการณ์แบบไดนามิก เช่น ความตั้งใจของผู้ใช้ ประวัติ และสภาพแวดล้อม กับระบบที่ไม่รับรู้บริบท ซึ่งประมวลผลข้อมูลนำเข้าเป็นเหตุการณ์แยกต่างหากโดยอาศัยกฎที่กำหนดไว้ล่วงหน้าเท่านั้น
AI ที่เสริมด้วยการค้นหาจะดึงข้อมูลแบบเรียลไทม์จากแหล่งข้อมูลภายนอกในขณะที่ทำการค้นหา ในขณะที่การฝึกฝนโดยใช้ชุดข้อมูลเพียงอย่างเดียวจะอาศัยความรู้ที่ฝังอยู่ในน้ำหนักของโมเดลระหว่างการฝึกฝนเท่านั้น แต่ละแนวทางมีข้อดีข้อเสียที่แตกต่างกันในด้านความแม่นยำ ต้นทุน ความทันสมัย และความสามารถในการจัดการกับคำถามที่อยู่นอกขอบเขตการฝึกฝนดั้งเดิม
ระบบ AI แบบกระจายศูนย์จะกระจายสติปัญญา ข้อมูล และการคำนวณไปยังโหนดอิสระต่างๆ โดยมักให้ความสำคัญกับความเปิดกว้างและการควบคุมของผู้ใช้ ในขณะที่ระบบ AI ขององค์กรนั้นได้รับการจัดการจากส่วนกลางโดยบริษัทต่างๆ โดยมุ่งเน้นที่ประสิทธิภาพ ผลกำไร และการบูรณาการผลิตภัณฑ์ ทั้งสองแนวทางนี้มีส่วนกำหนดวิธีการสร้าง การกำกับดูแล และการเข้าถึง AI แต่มีความแตกต่างกันอย่างมากในด้านความโปร่งใส การเป็นเจ้าของ และการควบคุม
