วิธีการแบบอิงนโยบายและวิธีการแบบอิงคุณค่าเป็นสองแนวทางพื้นฐานในการเรียนรู้แบบเสริมแรง วิธีการแบบอิงนโยบายเรียนรู้กลยุทธ์การเลือกการกระทำโดยตรง ในขณะที่วิธีการแบบอิงคุณค่าประเมินว่าการกระทำแต่ละอย่างนั้นดีเพียงใดและสร้างพฤติกรรมจากค่าประมาณเหล่านั้น แต่ละวิธีมีจุดแข็งที่แตกต่างกันและเหมาะสมกับประเภทของปัญหาที่แตกต่างกัน
วิธีการเรียนรู้แบบเสริมแรงที่ปรับนโยบายการเลือกการกระทำของเอเจนต์โดยตรงโดยไม่จำเป็นต้องมีฟังก์ชันค่า
วิธีการเรียนรู้แบบเสริมแรงที่เรียนรู้ว่าสถานะหรือคู่สถานะ-การกระทำนั้นดีเพียงใด จากนั้นจึงกำหนดนโยบายจากค่าประมาณเหล่านั้น
| ฟีเจอร์ | วิธีการตามนโยบาย | วิธีการที่ยึดคุณค่าเป็นหลัก |
|---|---|---|
| แนวทางหลัก | ปรับนโยบายให้เหมาะสมโดยตรง | เรียนรู้ฟังก์ชันค่า จากนั้นจึงดำเนินการตามฟังก์ชันนั้น |
| พื้นที่ปฏิบัติการ | ใช้งานได้ดีกับการกระทำที่ต่อเนื่องและมีมิติสูง | เหมาะที่สุดสำหรับการกระทำที่ไม่ต่อเนื่องและมีมิติต่ำ |
| ประสิทธิภาพตัวอย่าง | โดยทั่วไปแล้วมีประสิทธิภาพในการใช้ตัวอย่างต่ำกว่า และมักต้องการข้อมูลมากกว่า | โดยทั่วไปแล้วจะมีประสิทธิภาพในการใช้ตัวอย่างมากกว่า โดยเฉพาะอย่างยิ่งเมื่อใช้บัฟเฟอร์การเล่นซ้ำ |
| ความเสถียร | การอัปเดตมีเสถียรภาพ แต่สามารถลู่เข้าสู่จุดเหมาะสมที่สุดเฉพาะที่ได้ | อาจไม่เสถียรเมื่อใช้การประมาณฟังก์ชัน ต้องใช้เทคนิคพิเศษ |
| การสำรวจ | นโยบายแบบสุ่มช่วยให้เกิดการสำรวจตามธรรมชาติ | อาศัยหลักการเชิงอนุมาน เช่น epsilon-greedy หรือการฉีดสัญญาณรบกวน |
| ความแปรปรวนของเกรเดียนต์ | ค่าความชันสูง จำเป็นต้องลดค่าความชันลง | ไม่มีการไล่ระดับนโยบาย ดังนั้นจึงไม่มีปัญหาความแปรปรวนในความหมายเดียวกัน |
| อัลกอริทึมที่น่าสนใจ | เสริมแรง, PPO, TRPO, A2C | คิวเลิร์นนิ่ง, ดีคิวเอ็น, ดับเบิลดีคิวเอ็น, ดวลดีคิวเอ็น |
| การรับประกันการบรรจบกัน | ลู่เข้าสู่ค่าเหมาะสมที่สุดเฉพาะที่ภายใต้เงื่อนไขมาตรฐาน | ลู่เข้าสู่แนวนโยบายที่เหมาะสมที่สุดในรูปแบบตาราง |
วิธีการแบบอิงนโยบายใช้เส้นทางที่ตรงกว่า โดยจะกำหนดพารามิเตอร์ให้กับนโยบายนั้นเอง ซึ่งมักจะเป็นโครงข่ายประสาทเทียมที่ให้ผลลัพธ์เป็นความน่าจะเป็นของการกระทำ และปรับพารามิเตอร์เหล่านั้นเพื่อสนับสนุนการกระทำที่นำไปสู่รางวัลที่สูงกว่า ในขณะที่วิธีการแบบอิงคุณค่าใช้เส้นทางที่ซับซ้อนกว่า โดยจะประเมินคุณค่าของการกระทำแต่ละอย่างในแต่ละสถานะก่อน จากนั้นจึงเลือกตัวเลือกที่ดูดีที่สุด ความแตกต่างพื้นฐานนี้เป็นตัวกำหนดทุกอย่างเกี่ยวกับวิธีการทำงานของทั้งสองกลุ่มในทางปฏิบัติ
เมื่อขอบเขตการกระทำต่อเนื่อง เช่น การควบคุมแขนหุ่นยนต์หรือการบังคับพวงมาลัยรถยนต์ วิธีการแบบใช้หลักการเชิงนโยบายจะโดดเด่นเพราะสามารถให้ผลลัพธ์เป็นการกระจายความน่าจะเป็นในช่วงต่อเนื่องได้ ในขณะที่วิธีการแบบใช้ค่าจะประสบปัญหาในกรณีนี้ เพราะไม่มีวิธีใดที่จะแจงนับการกระทำที่เป็นไปได้ทั้งหมดเพื่อหาค่าสูงสุด สำหรับปัญหาที่มีชุดการกระทำแบบไม่ต่อเนื่องจำนวนน้อย เช่น การเล่นเกม Atari หรือการตัดสินใจแบบใช่หรือไม่ใช่ วิธีการแบบใช้ค่ามักจะง่ายกว่าและมีประสิทธิภาพมากกว่า
วิธีการแบบอิงค่า เช่น DQN มักจะมีประสิทธิภาพในการใช้ตัวอย่างมากกว่า เนื่องจากนำประสบการณ์ในอดีตที่เก็บไว้ในบัฟเฟอร์การเล่นซ้ำมาใช้ และเรียนรู้จากแต่ละการเปลี่ยนแปลงหลายครั้ง อย่างไรก็ตาม วิธีการเหล่านี้อาจไม่เสถียรเมื่อใช้ร่วมกับโครงข่ายประสาทเทียมเชิงลึก ซึ่งเป็นเหตุผลที่เทคนิคต่างๆ เช่น โครงข่ายเป้าหมาย (Target Networks) ถูกนำมาใช้ วิธีการแบบอิงนโยบายจะอัปเดตได้อย่างราบรื่นกว่า แต่โดยทั่วไปแล้วต้องการตัวอย่างมากกว่าเพื่อให้เกิดการลู่เข้า และการประมาณค่าความชันอาจมีสัญญาณรบกวน
คุณสมบัติที่ดีอย่างหนึ่งของวิธีการแบบใช้หลักการนโยบายคือ ตัวนโยบายเองสามารถเป็นแบบสุ่มได้ ซึ่งหมายความว่าตัวแทนจะสำรวจโดยธรรมชาติโดยการสุ่มตัวอย่างจากการกระจายการกระทำของมัน วิธีการแบบใช้ค่าจำเป็นต้องมีกลยุทธ์การสำรวจที่ชัดเจน โดยวิธีเอปซิลอน-กรีดีเป็นตัวเลือกคลาสสิก แม้ว่าจะมีวิธีการที่ซับซ้อนกว่า เช่น เน็ตที่มีเสียงรบกวน หรือขอบเขตความเชื่อมั่นบน สิ่งนี้ทำให้วิธีการแบบใช้หลักการนโยบายมีความน่าสนใจเป็นพิเศษในสภาพแวดล้อมที่การสำรวจทำได้ยาก
เส้นแบ่งระหว่างสองตระกูลนี้ไม่ได้ชัดเจนเสมอไป วิธีการแบบ Actor-Critic ซึ่งรวมถึง PPO และ A2C ผสมผสานแนวคิดทั้งสองเข้าด้วยกันโดยใช้ฟังก์ชันค่า (critic) เพื่อชี้นำการปรับปรุงนโยบาย (actor) แนวทางแบบผสมผสานนี้มักจะได้ข้อดีของทั้งสองแบบ: ความแปรปรวนต่ำกว่าวิธีการไล่ระดับนโยบายแบบบริสุทธิ์ และจัดการกับการกระทำต่อเนื่องได้ดีกว่าวิธีการที่ใช้ค่าแบบบริสุทธิ์ อัลกอริทึมที่ทันสมัยที่สุดในหลายๆ ด้านเป็นรูปแบบต่างๆ ของ Actor-Critic
วิธีการที่ใช้หลักการเชิงนโยบายมักมีประสิทธิภาพเหนือกว่าวิธีการที่ใช้หลักการเชิงคุณค่าเสมอในการเรียนรู้แบบเสริมแรงเชิงลึก
ไม่มีวิธีการใดเหนือกว่าวิธีการอื่นอย่างสมบูรณ์แบบ วิธีการที่เน้นคุณค่า เช่น DQN ประสบความสำเร็จอย่างมากบนเครื่อง Atari ในขณะที่วิธีการที่เน้นนโยบายนั้นโดดเด่นในด้านการควบคุมอย่างต่อเนื่อง การเลือกวิธีการที่ดีที่สุดขึ้นอยู่กับขอบเขตการกระทำ พลวัตของสภาพแวดล้อม และปริมาณข้อมูลที่มีอยู่
วิธีการที่ยึดคุณค่าเป็นหลักไม่สามารถใช้ได้กับพื้นที่ปฏิบัติการแบบต่อเนื่อง
ในขณะที่ Q-learning มาตรฐานประสบปัญหาในการจัดการกับการกระทำแบบต่อเนื่อง แต่รูปแบบต่างๆ เช่น Deep Deterministic Policy Gradient (DDPG) และ Twin Delayed DDPG (TD3) ได้ขยายแนวคิดที่อิงตามค่าไปยังโดเมนแบบต่อเนื่องโดยใช้สถาปัตยกรรมแบบ actor-critic การแบ่งแยกอย่างเคร่งครัดระหว่างสองกลุ่มนี้เป็นเพียงการทำให้การสอนง่ายขึ้นมากกว่าจะเป็นกฎที่ตายตัว
เส้นทางการกำหนดนโยบายจะลู่เข้าสู่นโยบายที่เหมาะสมที่สุดเสมอ
วิธีการไล่ระดับนโยบาย (Policy gradient methods) รับประกันว่าจะลู่เข้าสู่นโยบายที่เหมาะสมที่สุดในระดับท้องถิ่นภายใต้สมมติฐานความเรียบมาตรฐาน ไม่ใช่นโยบายที่เหมาะสมที่สุดในระดับสากล ภูมิทัศน์การปรับให้เหมาะสมอาจมีจุดสูงสุดหลายจุด และอัลกอริทึมจะเลือกจุดสูงสุดใดก็ตามที่จุดเริ่มต้นนำไปถึง
วิธีการที่ยึดคุณค่าเป็นหลักไม่จำเป็นต้องมีการนำเสนอเชิงนโยบายใดๆ
แม้แต่ระเบียบวิธีที่อิงตามคุณค่าก็ยังกำหนดนโยบายโดยปริยายผ่านกฎการเลือกการกระทำ เช่น วิธีโลภ (greedy) หรือวิธีโลภแบบเอปซิลอน (epsilon-greedy) ความแตกต่างอยู่ที่ว่านโยบายนั้นไม่ได้ถูกกำหนดพารามิเตอร์และเรียนรู้โดยตรง แต่ได้มาจากการประมาณค่า
ตัวอย่างจำนวนมากมักช่วยแก้ปัญหาความไม่เสถียรในวิธีการเชิงคุณค่าแบบลึกได้เสมอ
ความไม่เสถียรใน deep Q-learning เกิดจากปัญหาเป้าหมายเคลื่อนที่ ซึ่งฟังก์ชันค่าจะไล่ตามการอัปเดตของตัวเอง การเพิ่มข้อมูลเข้าไปอย่างเดียวไม่สามารถแก้ไขปัญหานี้ได้ จำเป็นต้องใช้เทคนิคต่างๆ เช่น target networks, double Q-learning และ prioritized replay เพื่อทำให้การฝึกฝนมีเสถียรภาพมากขึ้น
เลือกวิธีการแบบอิงนโยบายเมื่อปัญหาของคุณเกี่ยวข้องกับการกระทำต่อเนื่อง ต้องการการสำรวจแบบสุ่มตามธรรมชาติ หรือเมื่อคุณต้องการการอัปเดตนโยบายที่ราบรื่นและเสถียร เลือกวิธีการแบบอิงค่าสำหรับปัญหาการกระทำแบบไม่ต่อเนื่องที่ประสิทธิภาพของตัวอย่างมีความสำคัญ และคุณสามารถใช้ประโยชน์จากการเล่นซ้ำประสบการณ์ได้ สำหรับงานในโลกแห่งความเป็นจริงหลายๆ อย่าง วิธีการแบบผสมผสานระหว่างตัวแสดงและนักวิจารณ์ (Actor-Critic Hybridization) เป็นทางเลือกที่เหมาะสมซึ่งรวมจุดแข็งของทั้งสองวิธีเข้าด้วยกัน
AI slop หมายถึงเนื้อหา AI ที่ผลิตออกมาจำนวนมากโดยใช้ความพยายามน้อยและขาดการกำกับดูแล ในขณะที่งาน AI ที่มีมนุษย์ควบคุมนั้นเป็นการผสมผสานปัญญาประดิษฐ์เข้ากับการตัดต่อ การกำกับ และการตัดสินใจเชิงสร้างสรรค์อย่างรอบคอบ ความแตกต่างมักอยู่ที่คุณภาพ ความคิดริเริ่ม ประโยชน์ใช้สอย และว่ามีบุคคลจริงเข้ามามีส่วนร่วมในการกำหนดผลลัพธ์สุดท้ายหรือไม่
AI ที่มีมนุษย์เข้ามาเกี่ยวข้อง (Human-in-the-Loop AI) ผสานประสิทธิภาพของเครื่องจักรเข้ากับการตัดสินใจของมนุษย์ในจุดสำคัญ ในขณะที่ระบบ AI อัตโนมัติเต็มรูปแบบ (Fully Automated AI Systems) ทำงานอย่างอิสระตั้งแต่ต้นจนจบ แต่ละแนวทางมีข้อดีข้อเสียที่แตกต่างกันในด้านความแม่นยำ ความสามารถในการขยายขนาด ต้นทุน และความรับผิดชอบ ซึ่งเป็นตัวกำหนดว่าแนวทางใดเหมาะสมกับกรณีการใช้งานนั้นๆ
การเปรียบเทียบทางสถาปัตยกรรมนี้เน้นให้เห็นถึงความแตกต่างหลักระหว่างระบบ AI ที่รับรู้บริบท ซึ่งวิเคราะห์ข้อมูลสถานการณ์แบบไดนามิก เช่น ความตั้งใจของผู้ใช้ ประวัติ และสภาพแวดล้อม กับระบบที่ไม่รับรู้บริบท ซึ่งประมวลผลข้อมูลนำเข้าเป็นเหตุการณ์แยกต่างหากโดยอาศัยกฎที่กำหนดไว้ล่วงหน้าเท่านั้น
AI ที่เสริมด้วยการค้นหาจะดึงข้อมูลแบบเรียลไทม์จากแหล่งข้อมูลภายนอกในขณะที่ทำการค้นหา ในขณะที่การฝึกฝนโดยใช้ชุดข้อมูลเพียงอย่างเดียวจะอาศัยความรู้ที่ฝังอยู่ในน้ำหนักของโมเดลระหว่างการฝึกฝนเท่านั้น แต่ละแนวทางมีข้อดีข้อเสียที่แตกต่างกันในด้านความแม่นยำ ต้นทุน ความทันสมัย และความสามารถในการจัดการกับคำถามที่อยู่นอกขอบเขตการฝึกฝนดั้งเดิม
ระบบ AI แบบกระจายศูนย์จะกระจายสติปัญญา ข้อมูล และการคำนวณไปยังโหนดอิสระต่างๆ โดยมักให้ความสำคัญกับความเปิดกว้างและการควบคุมของผู้ใช้ ในขณะที่ระบบ AI ขององค์กรนั้นได้รับการจัดการจากส่วนกลางโดยบริษัทต่างๆ โดยมุ่งเน้นที่ประสิทธิภาพ ผลกำไร และการบูรณาการผลิตภัณฑ์ ทั้งสองแนวทางนี้มีส่วนกำหนดวิธีการสร้าง การกำกับดูแล และการเข้าถึง AI แต่มีความแตกต่างกันอย่างมากในด้านความโปร่งใส การเป็นเจ้าของ และการควบคุม
