ปัญญาประดิษฐ์การเรียนรู้ของเครื่องการฝึกอบรม llmการจัดเรียงโมเดลการเรียนรู้เชิงลึก

การปรับแต่งก่อนการฝึกเทียบกับการปรับแต่งหลังการฝึก

การฝึกฝนเบื้องต้น (Pretraining) สร้างองค์ความรู้พื้นฐานของโมเดลจากชุดข้อมูลขนาดใหญ่ ในขณะที่การปรับแต่งหลังการฝึกฝน (Post-training optimization) จะช่วยปรับปรุงฐานความรู้นั้นให้เหมาะสมกับงานเฉพาะและสอดคล้องกับความต้องการของมนุษย์ ทั้งสองขั้นตอนมีความสำคัญอย่างยิ่งในการพัฒนา AI สมัยใหม่ โดยทำหน้าที่เสริมซึ่งกันและกัน ไม่ใช่แข่งขันกัน

ไฮไลต์

การฝึกฝนเบื้องต้นจะสร้างองค์ความรู้พื้นฐานโดยใช้ข้อมูลดิบจำนวนมหาศาลหลายล้านล้านโทเค็น
การปรับแต่งหลังการฝึกอบรมทำให้โมเดลมีประโยชน์ ปลอดภัย และเหมาะสมกับงานเฉพาะด้าน โดยใช้เทคนิคต่างๆ เช่น RLHF และ DPO
การฝึกอบรมล่วงหน้าใช้ทรัพยากรการประมวลผลมากกว่าการฝึกอบรมภายหลังหลายเท่าตัว
ขั้นตอนหลังการฝึกอบรมเป็นขั้นตอนที่การปรับแต่งและการจัดวางที่เหมาะสมในทางปฏิบัติส่วนใหญ่เกิดขึ้นในกระบวนการพัฒนา AI สมัยใหม่

การฝึกอบรมเบื้องต้น คืออะไร

ขั้นตอนการฝึกฝนเบื้องต้นที่แบบจำลองเรียนรู้รูปแบบทั่วไปจากข้อความหรือข้อมูลดิบจำนวนมหาศาล

โดยทั่วไปแล้ว การฝึกอบรมเบื้องต้นจะใช้ข้อมูลที่ไม่มีป้ายกำกับจำนวนมหาศาลหลายล้านล้านโทเค็น ซึ่งรวบรวมมาจากเว็บ หนังสือ และคลังเก็บโค้ด
มันใช้เป้าหมายการเรียนรู้แบบกำกับตนเอง เช่น การทำนายคำถัดไป ซึ่งแบบจำลองจะเรียนรู้โดยการเดาคำถัดไปในลำดับ
ขั้นตอนนี้เป็นส่วนที่ต้องใช้ทรัพยากรการคำนวณมากที่สุดในกระบวนการพัฒนาโมเดล โดยมักมีค่าใช้จ่ายด้านเวลาการประมวลผลของ GPU หลายล้านดอลลาร์
โมเดลต่างๆ เช่น GPT-3, LLaMA และ Claude ล้วนเริ่มต้นด้วยการฝึกฝนล่วงหน้าอย่างละเอียดโดยใช้พารามิเตอร์หลายแสนล้านตัว
แบบจำลองพื้นฐานที่ได้นั้นสามารถแสดงให้เห็นถึงความเข้าใจภาษาในวงกว้าง แต่ขาดทักษะเฉพาะด้านหรือความสอดคล้องด้านความปลอดภัย

การปรับปรุงประสิทธิภาพหลังการฝึกอบรม คืออะไร

เทคนิคที่นำมาใช้หลังจากการฝึกฝนเบื้องต้น เพื่อปรับแต่งโมเดล ปรับปรุงความสอดคล้อง และเพิ่มประสิทธิภาพในการทำงาน

ขั้นตอนหลังการฝึกอบรมประกอบด้วยการปรับแต่งอย่างละเอียดภายใต้การกำกับดูแล (SFT), การเรียนรู้แบบเสริมแรงจากข้อเสนอแนะของมนุษย์ (RLHF) และการเพิ่มประสิทธิภาพความชอบโดยตรง (DPO)
RLHF ได้รับความนิยมจาก OpenAI ใน InstructGPT และต่อมาใน GPT-4 เพื่อทำให้โมเดลมีประโยชน์และปลอดภัยยิ่งขึ้น
DPO เกิดขึ้นมาในฐานะทางเลือกที่เรียบง่ายกว่า RLHF โดยขจัดความจำเป็นในการใช้แบบจำลองรางวัลแยกต่างหาก ด้วยการปรับความชอบให้เหมาะสมโดยตรง
โดยทั่วไปแล้ว ขั้นตอนนี้ใช้พลังประมวลผลน้อยกว่าขั้นตอนการฝึกเบื้องต้นมาก มักใช้ตัวอย่างเพียงหลักพัน แทนที่จะเป็นหลักล้านล้านตัวอย่าง
นอกจากนี้ การฝึกอบรมหลังการฝึกอบรมยังอาจรวมถึงเทคนิคต่างๆ เช่น ปัญญาประดิษฐ์เชิงรัฐธรรมนูญ การฝึกอบรมการใช้เครื่องมือ และการปรับแต่งอย่างละเอียดโดยเน้นที่การใช้เหตุผล

ตารางเปรียบเทียบ

ฟีเจอร์	การฝึกอบรมเบื้องต้น	การปรับปรุงประสิทธิภาพหลังการฝึกอบรม
ขั้นตอนในกระบวนการ	ขั้นตอนแรกของการพัฒนาแบบจำลอง	ปฏิบัติตามขั้นตอนก่อนการฝึกอบรม
เป้าหมายหลัก	เรียนรู้ความรู้ทั่วไปและรูปแบบต่างๆ	ปรับแต่งและจัดวางโมเดลให้เหมาะสม
ข้อกำหนดด้านข้อมูล	โทเค็นหลายล้านล้านรายการที่ไม่มีป้ายกำกับ	ตัวอย่างที่มีป้ายกำกับหลายพันถึงหลายล้านรายการ
คำนวณต้นทุน	สูงมาก (หลายล้านดอลลาร์)	ระดับปานกลาง (หลักพันดอลลาร์)
เทคนิคทั่วไป	การเรียนรู้ด้วยตนเอง, การสร้างแบบจำลองภาษาแบบปิดบัง	SFT, RLHF, DPO, AI ตามรัฐธรรมนูญ
เอาต์พุต	รุ่นพื้นฐานที่มีความสามารถหลากหลาย	โมเดลที่จัดเรียงอย่างเหมาะสมและพร้อมใช้งาน
ระยะเวลา	สำหรับกลุ่มขนาดใหญ่ อาจใช้เวลาหลายสัปดาห์ถึงหลายเดือน	จากหลายชั่วโมงเป็นหลายวัน
ความสามารถในการย้อนกลับ	จุดเริ่มต้นสำหรับงานทั้งหมดในภายหลัง	สามารถทำซ้ำหรือปรับเปลี่ยนได้

การเปรียบเทียบโดยละเอียด

วัตถุประสงค์และบทบาทในกระบวนการทำงานของ AI

การฝึกฝนเบื้องต้น (Pretraining) เปรียบเสมือนขั้นตอนการสร้างรากฐานที่โมเดลจะดูดซับความรู้ทั่วไปจากข้อมูลดิบจำนวนมหาศาล หากปราศจากการฝึกฝนเบื้องต้น โมเดลก็จะไม่มีความเข้าใจพื้นฐานเกี่ยวกับภาษา การให้เหตุผล หรือข้อเท็จจริงของโลก การปรับแต่งหลังการฝึกฝน (Post-training optimization) จะนำรากฐานนั้นมาพัฒนาให้เป็นสิ่งที่ใช้งานได้จริง สอนให้โมเดลปฏิบัติตามคำสั่ง ปฏิเสธคำขอที่เป็นอันตราย และทำงานเฉพาะด้านได้อย่างยอดเยี่ยม ลองนึกถึงการฝึกฝนเบื้องต้นว่าเป็นการได้รับการศึกษาทั่วไป และการฝึกฝนหลังการฝึกฝนเป็นการฝึกอบรมเฉพาะทางเพื่อการทำงานที่ตามมา

ข้อกำหนดด้านข้อมูลและการประมวลผล

ความแตกต่างด้านขนาดระหว่างสองขั้นตอนนี้นั้นมหาศาลมาก การฝึกอบรมเบื้องต้น (Pretraining) ต้องการชุดข้อมูลขนาดใหญ่มาก ซึ่งมักจะมีโทเค็นนับล้านล้าน และทำงานบน GPU หลายพันตัวเป็นเวลาหลายสัปดาห์หรือหลายเดือน ในขณะที่การฝึกอบรมภายหลัง (Post-training) ทำงานบนขนาดที่เล็กกว่ามาก โดยทั่วไปจะใช้ชุดข้อมูลที่คัดสรรมาแล้วซึ่งมีตัวอย่างหลายพันถึงหลายล้านตัวอย่าง ทำให้การฝึกอบรมภายหลังเข้าถึงได้ง่ายกว่ามากสำหรับทีมขนาดเล็กและนักวิจัยที่ต้องการปรับแต่งโมเดลที่มีอยู่โดยไม่ต้องสร้างใหม่ตั้งแต่เริ่มต้น

เทคนิคและวิธีการ

การฝึกฝนเบื้องต้นอาศัยเป้าหมายแบบกำกับตนเอง โดยที่แบบจำลองจะเรียนรู้ด้วยตนเองโดยการทำนายโทเค็นที่หายไปหรือโทเค็นถัดไปในลำดับ การเพิ่มประสิทธิภาพหลังการฝึกฝนครอบคลุมเครื่องมือที่หลากหลาย รวมถึงการปรับแต่งอย่างละเอียดแบบมีผู้กำกับดูแลบนคู่คำสั่ง-การตอบสนอง วิธี RLHF ซึ่งใช้การจัดอันดับความชอบของมนุษย์เพื่อฝึกแบบจำลองรางวัล และวิธีการใหม่ๆ เช่น DPO ที่ช่วยลดความซับซ้อนของกระบวนการจัดเรียง เทคนิคหลังการฝึกฝนแต่ละวิธีมีเป้าหมายที่แตกต่างกัน ตั้งแต่ความช่วยเหลือขั้นพื้นฐานไปจนถึงความสามารถในการให้เหตุผลที่ซับซ้อน

ผลกระทบต่อพฤติกรรมของแบบจำลอง

โมเดลที่ผ่านการฝึกฝนเบื้องต้นนั้นโดยพื้นฐานแล้วก็คือระบบเติมข้อความอัตโนมัติที่ซับซ้อน มันสามารถสร้างข้อความที่เข้าใจได้ แต่จะไม่สามารถปฏิบัติตามคำสั่งได้อย่างน่าเชื่อถือหรือมีพฤติกรรมที่ปลอดภัย การฝึกฝนเพิ่มเติมต่างหากที่จะเปลี่ยนโมเดลภาษาดิบๆ ให้กลายเป็นผู้ช่วยแชทบอทที่คุณต้องการโต้ตอบด้วยจริงๆ การปรับแต่งที่ทำในขั้นตอนหลังการฝึกฝนจะเป็นตัวกำหนดว่าโมเดลนั้นมีประโยชน์ ไม่เป็นอันตราย ซื่อสัตย์ และสามารถสนทนาได้อย่างละเอียดอ่อนหรือไม่

ความยืดหยุ่นและการทำซ้ำ

การฝึกอบรมภายหลัง (Post-training) ให้ความยืดหยุ่นมากกว่ามาก เพราะสามารถทำซ้ำ ผสมผสาน และปรับเปลี่ยนได้โดยไม่ต้องเริ่มต้นใหม่ ทีมงานสามารถปรับแต่งโมเดลให้เหมาะสมกับการใช้งานทางการแพทย์ จากนั้นจึงทำการปรับแต่งเพิ่มเติมเพื่อให้ตรงกับความต้องการเฉพาะของโรงพยาบาล การฝึกอบรมล่วงหน้า (Pretraining) เมื่อเสร็จสมบูรณ์แล้ว จะสร้างฐานที่ตายตัวซึ่งทุกคนจะนำไปต่อยอด นี่คือเหตุผลที่ชุมชน AI หันมาให้ความสำคัญกับการวิจัยด้านการฝึกอบรมภายหลังมากขึ้น เพราะเป็นจุดที่การปรับแต่งและการสร้างความแตกต่างเกิดขึ้นได้รวดเร็วที่สุด

ข้อดีและข้อเสีย

การฝึกอบรมเบื้องต้น

ข้อดี

+ สร้างฐานความรู้ที่กว้างขวาง
+ ช่วยให้เกิดการเรียนรู้แบบถ่ายทอด
+ สร้างรากฐานที่ใช้งานได้หลากหลาย
+ รวบรวมความรู้ของโลก

ยืนยัน

− แพงมาก
− ต้องใช้ชุดข้อมูลขนาดใหญ่
− ระยะเวลาฝึกอบรมที่ยาวนาน
− ไม่จำเพาะเจาะจงกับงาน

การปรับปรุงประสิทธิภาพหลังการฝึกอบรม

ข้อดี

+ ต้นทุนการประมวลผลต่ำกว่ามาก
+ ปรับแต่งได้หลากหลาย
+ ปรับปรุงความปลอดภัยและการจัดแนวให้เหมาะสม
+ รอบการพัฒนาที่เร็วขึ้น

ยืนยัน

− มีข้อจำกัดเนื่องจากคุณภาพของรุ่นพื้นฐาน
− สามารถลดทอนความสามารถโดยรวมได้
− ต้องใช้ข้อมูลที่มีฉลากคุณภาพ
− ความเสี่ยงของการเกิดภาวะโอเวอร์ฟิตติ้ง

ความเข้าใจผิดทั่วไป

ตำนาน

การฝึกฝนเบื้องต้นเพียงอย่างเดียวก็เพียงพอที่จะสร้างผู้ช่วย AI ที่มีประโยชน์ได้แล้ว

ความเป็นจริง

โมเดลที่ผ่านการฝึกฝนล่วงหน้าโดยพื้นฐานแล้วคือโปรแกรมเติมข้อความอัตโนมัติที่มีความซับซ้อน หากไม่มีการปรับแต่งหลังการฝึกฝน โมเดลจะไม่สามารถทำตามคำสั่งได้อย่างน่าเชื่อถือ ปฏิเสธคำขอที่เป็นอันตราย หรือสนทนาได้อย่างต่อเนื่อง แชทบอทที่ใช้งานจริงทั้งหมดจึงต้องมีการปรับแต่งหลังการฝึกฝนอย่างมาก

ตำนาน

การปรับแต่งหลังการฝึกฝนก็คือการปรับแต่งอย่างละเอียดนั่นเอง

ความเป็นจริง

การฝึกอบรมขั้นสูงในยุคปัจจุบันครอบคลุมเทคนิคที่ซับซ้อนมากมาย รวมถึง RLHF, DPO, AI ตามรัฐธรรมนูญ และการฝึกอบรมที่เน้นการใช้เหตุผล วิธีการเหล่านี้เกี่ยวข้องกับการสร้างแบบจำลองรางวัลที่ซับซ้อน การเรียนรู้ความชอบ และการปรับปรุงอย่างต่อเนื่อง ซึ่งก้าวไปไกลกว่าการปรับแต่งอย่างละเอียดแบบพื้นฐานภายใต้การกำกับดูแล

ตำนาน

การฝึกฝนล่วงหน้ามากขึ้นมักนำไปสู่โมเดลที่ดีขึ้นเสมอ

ความเป็นจริง

งานวิจัยแสดงให้เห็นว่าการเพิ่มขนาดข้อมูลก่อนการฝึกฝนนั้นให้ผลตอบแทนลดลงเรื่อยๆ วงการนี้เริ่มตระหนักมากขึ้นว่าการปรับปรุงหลังการฝึกฝน โดยเฉพาะอย่างยิ่งในด้านการให้เหตุผลและการจัดเรียงข้อมูล สามารถให้ผลลัพธ์ที่ดีกว่าการเพิ่มทรัพยากรการประมวลผลก่อนการฝึกฝน

ตำนาน

RLHF และ DPO คือสิ่งเดียวกัน

ความเป็นจริง

แม้ว่าทั้งสองวิธีจะมุ่งเป้าไปที่การปรับโมเดลให้สอดคล้องกับความชอบของมนุษย์ แต่ก็มีวิธีการทำงานที่แตกต่างกัน RLHF ฝึกโมเดลรางวัลแยกต่างหากที่ใช้เป็นแนวทางในการเรียนรู้แบบเสริมแรง ในขณะที่ DPO ปรับนโยบายโดยตรงโดยใช้คู่ความชอบโดยไม่จำเป็นต้องมีโมเดลรางวัล DPO นั้นเรียบง่ายกว่า แต่ลักษณะการทำงานอาจแตกต่างกันออกไป

ตำนาน

การฝึกอบรมภายหลังสามารถแก้ไขปัญหาใดๆ ก็ตามที่เกิดขึ้นกับโมเดลพื้นฐานได้

ความเป็นจริง

การปรับแต่งเพิ่มเติมหลังการฝึกฝนไม่สามารถสร้างความสามารถที่ไม่มีอยู่ในแบบจำลองพื้นฐานได้ หากแบบจำลองที่ฝึกฝนไว้ล่วงหน้าขาดความรู้หรือความสามารถในการให้เหตุผลบางอย่าง การปรับแต่งเพิ่มเติมใดๆ ก็ไม่สามารถเพิ่มความสามารถเหล่านั้นได้ พื้นฐานที่วางไว้ระหว่างการฝึกฝนล่วงหน้าจะจำกัดสิ่งที่เป็นไปได้ในภายหลัง

คำถามที่พบบ่อย

ความแตกต่างระหว่างการฝึกฝนเบื้องต้น (pretraining) และการปรับแต่ง (fine-tuning) คืออะไร?

การฝึกฝนเบื้องต้น (Pretraining) คือการฝึกฝนขนาดใหญ่ในขั้นต้นบนชุดข้อมูลขนาดใหญ่ที่ไม่มีป้ายกำกับ เพื่อสร้างความสามารถทั่วไป การปรับแต่ง (Fine-tuning) เป็นรูปแบบหนึ่งของการฝึกฝนภายหลัง (Post-training) ที่ปรับโมเดลที่ฝึกฝนเบื้องต้นแล้วให้เหมาะสมกับงานเฉพาะโดยใช้ชุดข้อมูลขนาดเล็กที่มีป้ายกำกับ การปรับแต่งเป็นเทคนิคหนึ่งในหมวดหมู่ที่กว้างกว่าของการเพิ่มประสิทธิภาพหลังการฝึกฝน (Post-training optimization)

เหตุใดการปรับแต่งหลังการฝึกอบรมจึงมีความสำคัญต่อความปลอดภัยของ AI?

ขั้นตอนหลังการฝึกฝนคือขั้นตอนที่ทำให้เกิดความสอดคล้อง เทคนิคต่างๆ เช่น RLHF จะสอนโมเดลให้ปฏิเสธคำขอที่เป็นอันตราย หลีกเลี่ยงการสร้างเนื้อหาที่เป็นอันตราย และประพฤติตนในลักษณะที่สอดคล้องกับค่านิยมของมนุษย์ หากไม่มีขั้นตอนหลังการฝึกฝน โมเดลที่ผ่านการฝึกฝนมาก่อนแล้วอาจสร้างผลลัพธ์ที่เป็นพิษ มีอคติ หรือเป็นอันตรายได้ แม้ว่าจะมีศักยภาพโดยทั่วไปก็ตาม

การเตรียมตัวก่อนฝึกใช้เวลานานกว่าการเตรียมตัวหลังฝึกมากแค่ไหน?

โดยทั่วไปแล้ว การฝึกฝนโมเดลขนาดใหญ่ล่วงหน้ามักใช้เวลาหลายสัปดาห์ถึงหลายเดือนบน GPU หลายพันตัว ในขณะที่การปรับแต่งหลังการฝึกฝนโดยปกติจะเสร็จสิ้นภายในเวลาไม่กี่ชั่วโมงถึงไม่กี่วันบนระบบประมวลผลที่เล็กกว่ามาก อัตราส่วนการประมวลผลอาจสูงถึง 1000:1 หรือมากกว่านั้น ซึ่งเป็นเหตุผลว่าทำไมองค์กรส่วนใหญ่จึงมุ่งเน้นไปที่การปรับแต่งหลังการฝึกฝนมากกว่าการสร้างโมเดลตั้งแต่เริ่มต้น

คุณสามารถข้ามขั้นตอนก่อนการฝึกอบรมและไปที่ขั้นตอนหลังการฝึกอบรมได้เลยหรือไม่?

ใช่ ถ้าคุณใช้โมเดลที่ผ่านการฝึกฝนล่วงหน้าแล้วเป็นจุดเริ่มต้น นี่คือสิ่งที่บริษัทและนักวิจัยด้าน AI ส่วนใหญ่ทำ พวกเขาใช้โมเดลโอเพนซอร์สหรือโมเดลที่ใช้ API แล้วใช้เทคนิคหลังการฝึกฝนเพื่อปรับแต่ง การข้ามขั้นตอนการฝึกฝนล่วงหน้าจะใช้ได้ผลก็ต่อเมื่อมีโมเดลพื้นฐานที่เหมาะสมอยู่แล้วเท่านั้น

DPO คืออะไร และแตกต่างจาก RLHF อย่างไร?

การเพิ่มประสิทธิภาพความชอบโดยตรง (Direct Preference Optimization หรือ DPO) เป็นวิธีการหลังการฝึกฝนที่ช่วยลดความซับซ้อนของการจัดเรียงโดยการปรับแต่งโมเดลโดยตรงกับคู่ความชอบโดยไม่ต้องฝึกโมเดลรางวัลแยกต่างหาก RLHF ต้องใช้สามขั้นตอนรวมถึงการฝึกโมเดลรางวัล ในขณะที่ DPO รวมทุกอย่างเข้าไว้ในกระบวนการเดียวที่ง่ายกว่า DPO เร็วกว่าและเสถียรกว่า แต่ผลลัพธ์อาจแตกต่างกันเล็กน้อย

คุณต้องการข้อมูลมากแค่ไหนสำหรับการปรับแต่งหลังการฝึกอบรม?

ข้อกำหนดจะแตกต่างกันไปตามเทคนิค การปรับแต่งอย่างละเอียดภายใต้การกำกับดูแลอาจต้องใช้ตัวอย่างหลายพันถึงหลายหมื่นตัวอย่าง โดยทั่วไปแล้ว RLHF จะใช้การเปรียบเทียบความชอบมากกว่า 100,000 ครั้ง DPO สามารถทำงานได้ด้วยจำนวนตัวอย่างที่ใกล้เคียงกับ RLHF ซึ่งน้อยกว่าจำนวนโทเค็นหลายล้านล้านที่ใช้ในการฝึกฝนเบื้องต้นอย่างมาก

การฝึกอบรมภายหลังส่งผลเสียต่อความสามารถของโมเดลหรือไม่?

การฝึกอบรมเพิ่มเติมบางครั้งอาจลดประสิทธิภาพในเกณฑ์มาตรฐานบางอย่าง ซึ่งเป็นปรากฏการณ์ที่เรียกว่า "ภาษีการปรับให้สอดคล้อง" อย่างไรก็ตาม เทคนิคสมัยใหม่ได้แก้ไขปัญหานี้ได้มากแล้ว การฝึกอบรมเพิ่มเติมที่ออกแบบมาอย่างดีจะช่วยเพิ่มประสิทธิภาพและความปลอดภัย ในขณะที่ยังคงรักษาความสามารถทั่วไปส่วนใหญ่ของแบบจำลองพื้นฐานไว้

บริษัทใดบ้างที่เน้นการฝึกอบรมก่อนการฝึกอบรม เทียบกับการฝึกอบรมหลังการฝึกอบรม?

บริษัทต่างๆ เช่น OpenAI, Anthropic, Google DeepMind และ Meta ลงทุนอย่างหนักในการฝึกฝนโมเดลล้ำสมัยของตนล่วงหน้า ในขณะที่องค์กรและสตาร์ทอัพด้าน AI อื่นๆ ส่วนใหญ่เน้นไปที่การฝึกฝนภายหลัง โดยการปรับแต่งโมเดลที่มีอยู่แล้วให้เหมาะสมกับอุตสาหกรรม กรณีการใช้งาน หรือการปรับปรุงเฉพาะด้าน ระบบนิเวศจึงแบ่งออกเป็นสองฝ่าย คือ ผู้สร้างโมเดลพื้นฐาน และผู้ปรับแต่งในขั้นตอนต่อไป

หลังจากขั้นตอนการฝึกอบรมแล้ว ในกระบวนการพัฒนา AI จะมีขั้นตอนอะไรต่อไป?

หลังจากฝึกฝนเสร็จแล้ว โดยทั่วไปโมเดลจะได้รับการประเมิน การทดสอบความปลอดภัยโดยทีมโจมตี และการเพิ่มประสิทธิภาพในการใช้งาน เช่น การหาปริมาณหรือการกลั่นกรอง เทคนิคที่ใช้ในระหว่างการประมวลผล เช่น การกระตุ้นความคิด การใช้เครื่องมือ และการสร้างข้อมูลที่เสริมด้วยการดึงข้อมูล สามารถช่วยเพิ่มประสิทธิภาพได้โดยไม่ต้องฝึกฝนเพิ่มเติม

การฝึกอบรมล่วงหน้ากำลังมีความสำคัญน้อยลงหรือไม่?

การฝึกฝนเบื้องต้นยังคงมีความสำคัญ แต่สาขาปัญญาประดิษฐ์ได้เปลี่ยนความสนใจไปที่การประมวลผลหลังการฝึกฝนและการคำนวณระหว่างการอนุมานในฐานะที่เป็นแนวทางใหม่สำหรับการพัฒนา เทคนิคต่างๆ เช่น การให้เหตุผลแบบขยาย การปรับขนาดการคำนวณระหว่างการทดสอบ และการปรับแต่งอย่างละเอียดที่ซับซ้อน กำลังให้ผลลัพธ์ที่ดีขึ้นอย่างมาก ซึ่งบ่งชี้ว่าอนาคตของความก้าวหน้าในปัญญาประดิษฐ์นั้นอยู่เหนือการปรับขนาดการฝึกฝนเบื้องต้นเพียงอย่างเดียว

คำตัดสิน

การปรับแต่งก่อนและหลังการฝึกฝนไม่ใช่แนวทางที่แข่งขันกัน แต่เป็นขั้นตอนต่อเนื่องที่มีความสำคัญอย่างมากทั้งคู่ การปรับแต่งก่อนการฝึกฝนเป็นสิ่งจำเป็นเมื่อคุณกำลังสร้างแบบจำลองพื้นฐานใหม่ตั้งแต่เริ่มต้นและต้องการความสามารถที่หลากหลาย ในขณะที่การปรับแต่งหลังการฝึกฝนเป็นทางเลือกที่ใช้งานได้จริงสำหรับทีมส่วนใหญ่ที่ต้องการปรับแบบจำลองที่มีอยู่ให้เข้ากับกรณีการใช้งานเฉพาะ สำหรับองค์กรส่วนใหญ่ การปรับแต่งหลังการฝึกฝนให้ผลตอบแทนจากการลงทุนที่ดีที่สุด เนื่องจากเป็นการต่อยอดจากงานที่ห้องปฏิบัติการหลักได้ทำไว้แล้ว

การเปรียบเทียบที่เกี่ยวข้อง

AI ที่ทำงานแบบไม่เป็นระบบ เทียบกับ AI ที่ควบคุมโดยมนุษย์

AI slop หมายถึงเนื้อหา AI ที่ผลิตออกมาจำนวนมากโดยใช้ความพยายามน้อยและขาดการกำกับดูแล ในขณะที่งาน AI ที่มีมนุษย์ควบคุมนั้นเป็นการผสมผสานปัญญาประดิษฐ์เข้ากับการตัดต่อ การกำกับ และการตัดสินใจเชิงสร้างสรรค์อย่างรอบคอบ ความแตกต่างมักอยู่ที่คุณภาพ ความคิดริเริ่ม ประโยชน์ใช้สอย และว่ามีบุคคลจริงเข้ามามีส่วนร่วมในการกำหนดผลลัพธ์สุดท้ายหรือไม่

AI ที่มีมนุษย์เข้ามาเกี่ยวข้อง กับ AI ที่ทำงานอัตโนมัติอย่างสมบูรณ์

AI ที่มีมนุษย์เข้ามาเกี่ยวข้อง (Human-in-the-Loop AI) ผสานประสิทธิภาพของเครื่องจักรเข้ากับการตัดสินใจของมนุษย์ในจุดสำคัญ ในขณะที่ระบบ AI อัตโนมัติเต็มรูปแบบ (Fully Automated AI Systems) ทำงานอย่างอิสระตั้งแต่ต้นจนจบ แต่ละแนวทางมีข้อดีข้อเสียที่แตกต่างกันในด้านความแม่นยำ ความสามารถในการขยายขนาด ต้นทุน และความรับผิดชอบ ซึ่งเป็นตัวกำหนดว่าแนวทางใดเหมาะสมกับกรณีการใช้งานนั้นๆ

AI ที่รับรู้บริบท เทียบกับ AI ที่ไม่รับรู้บริบท

การเปรียบเทียบทางสถาปัตยกรรมนี้เน้นให้เห็นถึงความแตกต่างหลักระหว่างระบบ AI ที่รับรู้บริบท ซึ่งวิเคราะห์ข้อมูลสถานการณ์แบบไดนามิก เช่น ความตั้งใจของผู้ใช้ ประวัติ และสภาพแวดล้อม กับระบบที่ไม่รับรู้บริบท ซึ่งประมวลผลข้อมูลนำเข้าเป็นเหตุการณ์แยกต่างหากโดยอาศัยกฎที่กำหนดไว้ล่วงหน้าเท่านั้น

AI ที่เสริมด้วยการค้นหาเทียบกับการฝึกฝนโดยใช้ชุดข้อมูลเพียงอย่างเดียว

AI ที่เสริมด้วยการค้นหาจะดึงข้อมูลแบบเรียลไทม์จากแหล่งข้อมูลภายนอกในขณะที่ทำการค้นหา ในขณะที่การฝึกฝนโดยใช้ชุดข้อมูลเพียงอย่างเดียวจะอาศัยความรู้ที่ฝังอยู่ในน้ำหนักของโมเดลระหว่างการฝึกฝนเท่านั้น แต่ละแนวทางมีข้อดีข้อเสียที่แตกต่างกันในด้านความแม่นยำ ต้นทุน ความทันสมัย และความสามารถในการจัดการกับคำถามที่อยู่นอกขอบเขตการฝึกฝนดั้งเดิม

AI แบบกระจายศูนย์ เทียบกับ ระบบ AI ขององค์กร

ระบบ AI แบบกระจายศูนย์จะกระจายสติปัญญา ข้อมูล และการคำนวณไปยังโหนดอิสระต่างๆ โดยมักให้ความสำคัญกับความเปิดกว้างและการควบคุมของผู้ใช้ ในขณะที่ระบบ AI ขององค์กรนั้นได้รับการจัดการจากส่วนกลางโดยบริษัทต่างๆ โดยมุ่งเน้นที่ประสิทธิภาพ ผลกำไร และการบูรณาการผลิตภัณฑ์ ทั้งสองแนวทางนี้มีส่วนกำหนดวิธีการสร้าง การกำกับดูแล และการเข้าถึง AI แต่มีความแตกต่างกันอย่างมากในด้านความโปร่งใส การเป็นเจ้าของ และการควบคุม