Proximal Policy Optimization (PPO) นำฟังก์ชันเป้าหมายที่จำกัดและการคิดแบบขอบเขตความเชื่อมั่นมาใช้กับการเรียนรู้แบบเสริมแรง ซึ่งช่วยลดความผันผวนที่เกิดขึ้นกับวิธีการไล่ระดับนโยบายแบบดั้งเดิมได้อย่างมาก ในขณะที่วิธีการแบบดั้งเดิม เช่น REINFORCE และอัลกอริธึม actor-critic มาตรฐาน อาจเกิดการเบี่ยงเบนหรือล้มเหลวระหว่างการฝึกอบรม การออกแบบของ PPO ช่วยให้การอัปเดตมีขอบเขตและสามารถทำซ้ำได้ในการทำงานแต่ละครั้ง
วัตถุประสงค์ทดแทนที่จำกัดซึ่งช่วยควบคุมการอัปเดตนโยบายให้อยู่ในขอบเขตที่ปลอดภัย ป้องกันขั้นตอนการเรียนรู้ที่ก่อให้เกิดความเสียหาย
อัลกอริทึมการเรียนรู้แบบเสริมแรงแบบคลาสสิกที่อัปเดตนโยบายโดยตรงตามระดับผลตอบแทนที่คาดหวัง มักสร้างเส้นโค้งการเรียนรู้ที่ไม่แน่นอน
| ฟีเจอร์ | การฝึกอบรมที่มั่นคงใน PPO | วิธีการไล่ระดับนโยบายที่ไม่เสถียร |
|---|---|---|
| กลไกการอัปเดต | วัตถุประสงค์ตัวแทนที่ถูกตัดทอนโดยมีอัตราส่วนความน่าจะเป็นที่จำกัดอยู่ใกล้ 1.0 | การเพิ่มขึ้นของความชันแบบดิบๆ บนผลตอบแทนที่คาดหวังโดยไม่มีข้อจำกัดการอัปเดตที่เข้มงวด |
| ความเสถียรในการฝึกฝน | สูง — สามารถฟื้นตัวจากความผิดพลาดได้ดี และแทบจะไม่เบี่ยงเบนไปจากเป้าหมายเลย | ระดับต่ำ — ไวต่ออัตราการเรียนรู้และขนาดของรางวัล มีแนวโน้มที่จะล้มเหลว |
| ประสิทธิภาพตัวอย่าง | ระดับปานกลาง; ใช้ SGD แบบมินิแบตช์หลายรอบต่อการใช้งานแต่ละครั้ง | มักจะได้ผลลัพธ์ที่ไม่ดีนัก เว้นแต่จะใช้ร่วมกับค่าพื้นฐานหรือเทคนิคการลดความแปรปรวน |
| ความซับซ้อนในการนำไปใช้ | เรียบง่าย — ใช้โค้ดประมาณเท่ากับ policy gradient แบบพื้นฐาน | โดยพื้นฐานแล้วมันเรียบง่าย แต่การทำให้มันเสถียรนั้นต้องอาศัยวิศวกรรมเพิ่มเติม |
| ความไวของไฮเปอร์พารามิเตอร์ | ค่อนข้างใช้งานง่ายกับอัตราส่วนคลิปและอัตราการเรียนรู้ที่หลากหลาย | มีความละเอียดอ่อนสูงมาก การเปลี่ยนแปลงเพียงเล็กน้อยก็อาจทำให้การฝึกฝนล้มเหลวโดยสิ้นเชิง |
| การจัดการความแปรปรวน | การตัดค่าในตัวทำหน้าที่ลดความแปรปรวนโดยปริยาย | ต้องใช้เทคนิคแยกต่างหาก เช่น ค่าพื้นฐาน GAE หรือการปรับค่าความได้เปรียบให้เป็นมาตรฐาน |
| ประสิทธิภาพของนาฬิกาติดผนัง | ทำงานได้อย่างรวดเร็วบนฮาร์ดแวร์สมัยใหม่เนื่องจากการปรับแต่งอันดับแรก | ในแต่ละขั้นตอนอาจเทียบเคียงกันได้ แต่ความไม่เสถียรทำให้เสียเวลาไปกับการทดลองที่ล้มเหลวอยู่บ่อยครั้ง |
| กรณีการใช้งานทั่วไป | RLHF สำหรับแบบจำลองภาษา หุ่นยนต์ การเล่นเกม และการควบคุมอย่างต่อเนื่อง | การวิเคราะห์เชิงทฤษฎี สภาพแวดล้อมที่เรียบง่าย การสอนการเรียนรู้แบบเสริมแรง |
แนวคิดหลักของ PPO คือ การปรับปรุงนโยบายควรมีขนาดเล็กและสามารถย้อนกลับได้ โดยการจำกัดอัตราส่วนความน่าจะเป็นระหว่างนโยบายใหม่และนโยบายเก่า อัลกอริทึมจะป้องกันไม่ให้ตัวปรับแต่ง (optimizer) ดำเนินการใดๆ ที่จะเปลี่ยนแปลงพฤติกรรมอย่างรุนแรงเกินไปในรอบเดียว ในทางตรงกันข้าม วิธีการไล่ระดับนโยบายที่ไม่เสถียร (Unstable policy gradient methods) ใช้แนวทางตรงกันข้าม คือ พวกมันติดตามการไล่ระดับดิบของผลตอบแทนที่คาดหวัง โดยเชื่อว่าอัตราการเรียนรู้ที่ปรับแต่งมาอย่างดีจะช่วยควบคุมสิ่งต่างๆ ในทางปฏิบัติ ความเชื่อนั้นมักจะผิดพลาด
โดยทั่วไปแล้ว การทำงานของ PPO จะแสดงให้เห็นเส้นโค้งการเรียนรู้ที่มีความผันผวนแต่ดีขึ้นอย่างต่อเนื่อง โดยมีช่วงที่ลดลงบ้างเป็นครั้งคราวซึ่งจะฟื้นตัวภายในไม่กี่รอบ ในทางตรงกันข้าม การไล่ระดับนโยบายแบบธรรมดาอาจทรงตัวได้เป็นพันๆ ขั้นตอนแล้วก็พังทลายลงอย่างกะทันหันเมื่อเส้นทางที่มีรางวัลสูงที่เกิดขึ้นไม่บ่อยนักผลักดันพารามิเตอร์ไปอยู่ในบริเวณที่ไม่ดี เป้าหมายที่ถูกตัดใน PPO ทำหน้าที่เหมือนเบรกนิรภัย จำกัดอิทธิพลของประสบการณ์แต่ละชุด
การทำให้การไล่ระดับนโยบายแบบพื้นฐานทำงานได้อย่างน่าเชื่อถือ มักหมายถึงการปรับแต่งอัตราการเรียนรู้ ปัจจัยส่วนลด โบนัสเอนโทรปี และเกณฑ์การตัดค่าการไล่ระดับด้วยตนเอง PPO รวบรวมการปรับแต่งเหล่านั้นไว้ในพารามิเตอร์การตัดค่าเพียงตัวเดียว ซึ่งโดยปกติจะตั้งค่าไว้ที่ประมาณ 0.1 ถึง 0.3 ซึ่งมีความเสถียรในงานที่หลากหลาย สำหรับทีมที่พัฒนาและใช้งานระบบ RL ในเชิงปฏิบัติ การลดภาระการปรับแต่งนี้จะส่งผลให้รอบการพัฒนาเร็วขึ้นโดยตรง
PPO นำแต่ละ rollout กลับมาใช้ซ้ำสำหรับการอัปเดต minibatch หลายรอบ ซึ่งช่วยเพิ่มประสิทธิภาพการใช้ตัวอย่างเมื่อเทียบกับวิธีการ on-policy บริสุทธิ์ เช่น REINFORCE อย่างไรก็ตาม การนำมาใช้ซ้ำนี้ก็เป็นเหตุผลว่าทำไมการตัดขอบจึงมีความสำคัญ: หากไม่มีการตัดขอบ อัลกอริทึมจะเกิด overfitting กับวิถีที่ไม่ทันสมัย วิธีการไล่ระดับนโยบายที่ไม่เสถียรโดยทั่วไปจะทำงานเพียงครั้งเดียวต่อ rollout ซึ่งทำให้มีประสิทธิภาพการใช้ตัวอย่างน้อยกว่า แต่ก็มีโอกาสเกิดความล้มเหลวในลักษณะนั้นน้อยกว่าเช่นกัน
PPO ได้กลายเป็นตัวเลือกมาตรฐานสำหรับการเรียนรู้แบบเสริมแรงเชิงประยุกต์ โดยขับเคลื่อนระบบต่างๆ ตั้งแต่เอเจนต์ Dota 5v5 ของ OpenAI ไปจนถึงไปป์ไลน์ RLHF ที่อยู่เบื้องหลัง ChatGPT และแชทบอทสมัยใหม่อื่นๆ วิธีการไล่ระดับนโยบายแบบดั้งเดิมยังคงมีคุณค่าในฐานะเครื่องมือการสอนและเป็นพื้นฐานในงานวิจัย แต่แทบจะไม่ปรากฏในระบบใช้งานจริงที่ความน่าเชื่อถือมีความสำคัญ การเปลี่ยนแปลงไปสู่ PPO สะท้อนให้เห็นถึงแนวโน้มที่กว้างขึ้นในการเรียนรู้ของเครื่องจักรไปสู่วิธีการที่ใช้งานได้ทันทีโดยไม่ต้องปรับแต่งเพิ่มเติม
PPO เป็นเพียงเวอร์ชันที่ดูหรูหรากว่าของ REINFORCE โดยไม่มีเหตุผลทางทฤษฎีที่แท้จริงรองรับ
PPO พัฒนาต่อยอดจากแนวคิดขอบเขตความเชื่อมั่น (trust region) ของ TRPO แต่แทนที่การเพิ่มประสิทธิภาพแบบมีข้อจำกัดด้วยตัวแทนแบบตัดขอบลำดับที่หนึ่ง (first-order clipped surrogate) การตัดขอบนี้ให้ค่าประมาณที่ใช้งานได้จริงของข้อจำกัดขอบเขตความเชื่อมั่น ซึ่งเป็นเหตุผลว่าทำไมจึงได้ผลดีในทางปฏิบัติแม้ว่าจะง่ายต่อการใช้งานก็ตาม
การไล่ระดับนโยบายแบบพื้นฐานจะลู่เข้าเสมอหากคุณใช้ค่าอัตราการเรียนรู้ที่ต่ำพอ
อัตราการเรียนรู้ที่ต่ำจะช่วยชะลอการเบี่ยงเบน แต่ไม่ได้กำจัดมันออกไป เส้นทางที่ไม่ดีอาจยังคงผลักดันนโยบายไปสู่บริเวณที่เสื่อมถอย และความแปรปรวนสูงของผลตอบแทนจากการจำลองมอนเตคาร์โลหมายความว่าการอัปเดตที่มีประสิทธิภาพขนาดใหญ่เป็นครั้งคราวนั้นแทบจะหลีกเลี่ยงไม่ได้หากไม่มีข้อจำกัดที่ชัดเจน
PPO ไม่สามารถใช้สำหรับงานควบคุมอย่างต่อเนื่องได้
PPO ทำงานได้ดีเยี่ยมกับเกณฑ์มาตรฐานการควบคุมแบบต่อเนื่อง เช่น การเคลื่อนที่ของหุ่นยนต์และการควบคุมการเคลื่อนไหวของหุ่นยนต์ในชุดข้อมูล MuJoCo วัตถุประสงค์ที่ถูกตัดนั้นเป็นอิสระจากพื้นที่การกระทำ และ PPO ที่ใช้หลักการแบบเกาส์เซียนยังคงเป็นพื้นฐานที่แข็งแกร่งสำหรับปัญหาต่างๆ ตั้งแต่การเดินของสัตว์สี่ขาไปจนถึงการควบคุมการเคลื่อนไหวของมือที่คล่องแคล่ว
แนวคิดเรื่องความลาดชันของนโยบายที่ไม่เสถียรนั้นล้าสมัยและไม่ถูกนำมาใช้ในการวิจัยอีกต่อไป
นโยบายการไล่ระดับแบบพื้นฐาน (Vanilla policy gradients) ยังคงเป็นรากฐานสำคัญในการวิจัยการเรียนรู้แบบเสริมแรง (Reinforcement learning) โดยปรากฏเป็นเกณฑ์พื้นฐานในเอกสารเกี่ยวกับอัลกอริทึมใหม่ๆ เกือบทุกฉบับ และรูปแบบต่างๆ เช่น นโยบายการไล่ระดับแบบธรรมชาติ (Natural policy gradients) ยังคงเป็นข้อมูลสำคัญในงานวิจัยสมัยใหม่เกี่ยวกับขอบเขตความเชื่อมั่น (Trust regions) และการเพิ่มประสิทธิภาพภายใต้ข้อจำกัด (Constrained optimization)
PPO รับประกันการพัฒนาอย่างต่อเนื่องในทุกการฝึกซ้อม
PPO ช่วยเพิ่มเสถียรภาพได้อย่างมาก แต่ไม่รับประกันความก้าวหน้าที่ราบรื่นเสมอไป เส้นโค้งการเรียนรู้ยังคงมีสัญญาณรบกวน และฟังก์ชันการให้รางวัลที่ผิดปกติหรือสัญญาณที่เบาบางมากเกินไปยังคงสามารถทำให้เกิดความล้มเหลวได้ เสถียรภาพหมายถึงการล่มสลายที่ร้ายแรงน้อยลง ไม่ใช่ความล้มเหลวเป็นศูนย์
เลือกใช้ PPO เมื่อคุณต้องการอัลกอริธึมการเรียนรู้แบบเสริมแรงที่เชื่อถือได้และใช้งานได้ทั่วไป ซึ่งทำงานได้ในสภาพแวดล้อมที่หลากหลายโดยไม่ต้องปรับแต่งอย่างละเอียด เลือกใช้วิธีการไล่ระดับนโยบายแบบพื้นฐาน (Vanilla Policy Gradient) สำหรับการศึกษา การวิเคราะห์เชิงทฤษฎี หรือเมื่อคุณต้องการศึกษาโหมดความล้มเหลวที่ PPO ออกแบบมาเพื่อกำจัดโดยเฉพาะ
AI slop หมายถึงเนื้อหา AI ที่ผลิตออกมาจำนวนมากโดยใช้ความพยายามน้อยและขาดการกำกับดูแล ในขณะที่งาน AI ที่มีมนุษย์ควบคุมนั้นเป็นการผสมผสานปัญญาประดิษฐ์เข้ากับการตัดต่อ การกำกับ และการตัดสินใจเชิงสร้างสรรค์อย่างรอบคอบ ความแตกต่างมักอยู่ที่คุณภาพ ความคิดริเริ่ม ประโยชน์ใช้สอย และว่ามีบุคคลจริงเข้ามามีส่วนร่วมในการกำหนดผลลัพธ์สุดท้ายหรือไม่
AI ที่มีมนุษย์เข้ามาเกี่ยวข้อง (Human-in-the-Loop AI) ผสานประสิทธิภาพของเครื่องจักรเข้ากับการตัดสินใจของมนุษย์ในจุดสำคัญ ในขณะที่ระบบ AI อัตโนมัติเต็มรูปแบบ (Fully Automated AI Systems) ทำงานอย่างอิสระตั้งแต่ต้นจนจบ แต่ละแนวทางมีข้อดีข้อเสียที่แตกต่างกันในด้านความแม่นยำ ความสามารถในการขยายขนาด ต้นทุน และความรับผิดชอบ ซึ่งเป็นตัวกำหนดว่าแนวทางใดเหมาะสมกับกรณีการใช้งานนั้นๆ
การเปรียบเทียบทางสถาปัตยกรรมนี้เน้นให้เห็นถึงความแตกต่างหลักระหว่างระบบ AI ที่รับรู้บริบท ซึ่งวิเคราะห์ข้อมูลสถานการณ์แบบไดนามิก เช่น ความตั้งใจของผู้ใช้ ประวัติ และสภาพแวดล้อม กับระบบที่ไม่รับรู้บริบท ซึ่งประมวลผลข้อมูลนำเข้าเป็นเหตุการณ์แยกต่างหากโดยอาศัยกฎที่กำหนดไว้ล่วงหน้าเท่านั้น
AI ที่เสริมด้วยการค้นหาจะดึงข้อมูลแบบเรียลไทม์จากแหล่งข้อมูลภายนอกในขณะที่ทำการค้นหา ในขณะที่การฝึกฝนโดยใช้ชุดข้อมูลเพียงอย่างเดียวจะอาศัยความรู้ที่ฝังอยู่ในน้ำหนักของโมเดลระหว่างการฝึกฝนเท่านั้น แต่ละแนวทางมีข้อดีข้อเสียที่แตกต่างกันในด้านความแม่นยำ ต้นทุน ความทันสมัย และความสามารถในการจัดการกับคำถามที่อยู่นอกขอบเขตการฝึกฝนดั้งเดิม
ระบบ AI แบบกระจายศูนย์จะกระจายสติปัญญา ข้อมูล และการคำนวณไปยังโหนดอิสระต่างๆ โดยมักให้ความสำคัญกับความเปิดกว้างและการควบคุมของผู้ใช้ ในขณะที่ระบบ AI ขององค์กรนั้นได้รับการจัดการจากส่วนกลางโดยบริษัทต่างๆ โดยมุ่งเน้นที่ประสิทธิภาพ ผลกำไร และการบูรณาการผลิตภัณฑ์ ทั้งสองแนวทางนี้มีส่วนกำหนดวิธีการสร้าง การกำกับดูแล และการเข้าถึง AI แต่มีความแตกต่างกันอย่างมากในด้านความโปร่งใส การเป็นเจ้าของ และการควบคุม
