אופטימיזציית מדיניות פרוקסימלית מביאה פונקציות מטרה מקוצרות וחשיבה על אזורי אמון ללמידת חיזוק, ומפחיתה באופן דרמטי את התנודתיות שפוגעת בגישות גרדיאנט מדיניות פשוטות. בעוד ששיטות מסורתיות כמו REINFORCE ואלגוריתמים סטנדרטיים של שחקנים-מבקר יכולים לסטות או לקרוס באמצע האימון, העיצוב של PPO שומר על עדכונים מוגבלים וניתנים לשחזור לאורך ריצות.
מטרה חלופית גזורה ששומרת על עדכוני מדיניות בטווח בטוח, ומונעת שלבי למידה הרסניים.
אלגוריתמים קלאסיים של למידה מחוזקת שמעדכנים מדיניות ישירות לאורך שיפוע התשואה הצפויה, ולעתים קרובות מייצרים עקומות למידה לא יציבות.
| תכונה | אימון יציב ב-PPO | שיטות גרדיאנט מדיניות לא יציבות |
|---|---|---|
| מנגנון עדכון | מטרה חלופית גזורה עם יחס הסתברות מוגבל ליד 1.0 | עלייה גולמית בגרדיאנט בתשואה צפויה ללא מגבלת עדכון קשיח |
| יציבות אימון | גבוה - מתאושש מצעדים רעים ורק לעתים רחוקות סוטה | נמוך - רגיש לקצב למידה ולסולם התגמול, נוטה לקריסה |
| יעילות הדגימה | בינוני; משתמש במספר עונות של מיני-אצווה SGD לכל פריסה | לעיתים קרובות גרוע אלא אם כן משולב עם קווי בסיס או טריקים להפחתת שונות |
| מורכבות היישום | פשוט - בערך אותה טביעת רגל קוד כמו גרדיאנט מדיניות רגיל | פשוט בצורתו הבסיסית, אך ייצובו דורש הנדסה נוספת |
| רגישות היפרפרמטרית | סלחני יחסית בטווח רחב של יחסי קליפ וקצבי למידה | רגישות גבוהה; שינויים קטנים יכולים לשבור לחלוטין את האימון |
| טיפול בשונות | חיתוך מובנה פועל כמפחית שונות מרומזת | דורש טכניקות נפרדות כמו קווי בסיס, GAE או נרמול יתרונות |
| ביצועי שעון קיר | מהיר על חומרה מודרנית הודות לאופטימיזציה מסדר ראשון | דומה לכל צעד, אך חוסר יציבות מבזבז לעתים קרובות זמן שעון קיר על ריצות כושלות |
| מקרי שימוש נפוצים | RLHF עבור מודלים של שפה, רובוטיקה, משחקי משחקים, בקרה רציפה | ניתוח תיאורטי, סביבות פשוטות, הוראת למידה באמצעות חיזוקים |
הרעיון המגדיר את PPO הוא שעדכוני מדיניות צריכים להיות קטנים והפיכים. על ידי קיצוץ יחס ההסתברות בין המדיניות החדשה והישנה, האלגוריתם מונע מהאופטימיזציה לנקוט צעד שישנה את ההתנהגות באופן דרסטי מדי באיטרציה אחת. שיטות של גרדיאנט מדיניות לא יציב נוקטות בגישה הפוכה: הן עוקבות אחר הגרדיאנט הגולמי של התשואה הצפויה, מתוך אמון שקצב למידה מכוון היטב ישמור על העניינים. בפועל, אמון זה לרוב אינו במקומו.
ריצת PPO בדרך כלל מציגה עקומת למידה רועשת אך משתפרת באופן מונוטוני, עם ירידות מדי פעם שמתאוששות תוך מספר איטרציות. לעומת זאת, גרדיאנטים של מדיניות ונילה יכולים להגיע למצב יציב במשך אלפי צעדים ואז לקרוס לפתע כאשר מסלול נדיר של תגמול גבוה דוחף את הפרמטרים לאזור שלילי. המטרה המצומצמת ב-PPO פועלת כמו בלם בטיחות, ומגבילה את ההשפעה של כל קבוצה בודדת של ניסיון.
לגרום לגרדיאנטים של מדיניות ונילה לעבוד בצורה אמינה, לעתים קרובות יש כוונון ידני של קצבי למידה, גורמי היוון, בונוסי אנטרופיה וספי חיתוך גרדיאנטים. PPO מאחד חלק ניכר מההנדסה הזו להיפרפרמטר של קליפ יחיד, שבדרך כלל נקבע סביב 0.1 עד 0.3, שהוא חזק במגוון רחב של משימות. עבור צוותים המספקים מערכות RL לייצור, הפחתה זו בנטל הכוונון מתורגמת ישירות למחזורי איטרציה מהירים יותר.
PPO משתמש מחדש בכל פריסה למשך מספר תקופות של עדכוני מיני-אצווה, מה שמשפר את יעילות הדגימה בהשוואה לשיטות מבוססות מדיניות טהורות כמו REINFORCE. עם זאת, שימוש חוזר זה הוא גם הסיבה לכך שגזירה חשובה: בלעדיה, האלגוריתם יתאים יתר על המידה למסלולים ישנים. שיטות גרדיאנט מדיניות לא יציבות הן בדרך כלל מעבר אחד לכל פריסה, מה שהופך אותן לפחות יעילות מבחינת דגימה אך גם פחות נוטות לאותו מצב כשל ספציפי.
PPO הפך לבחירה דה פקטו ללמידת חיזוקים יישומית, ומניע מערכות מסוכני Dota 5v5 של OpenAI ועד צינורות RLHF שמאחורי ChatGPT וצ'אטבוטים מודרניים אחרים. שיטות מדיניות ונילה (Vanilla Policy Gradient) נותרות בעלות ערך ככלי הוראה וכקו בסיסי בעבודות מחקר, אך הן מופיעות לעיתים רחוקות במערכות ייצור בהן אמינות חשובה. המעבר לכיוון PPO משקף מגמה רחבה יותר בלמידת מכונה לכיוון שיטות שעובדות מחוץ לקופסה.
PPO הוא רק גרסה מפוארת של REINFORCE ללא הצדקה תיאורטית של ממש.
PPO בונה על רעיון אזור האמון מ-TRPO אך מחליף את האופטימיזציה המוגבלת באופטימיזציה גזורה מסדר ראשון. הגזירה מספקת קירוב מעשי של אילוץ אזור האמון, וזו הסיבה שהוא עובד כל כך טוב אמפירית למרות היותו פשוט יותר ליישום.
גרדיאנטים של מדיניות ונילה תמיד מתכנסים אם משתמשים בקצב למידה קטן מספיק.
קצב למידה קטן מאט את הדיברגנציה אך אינו מבטל אותה. מסלולים גרועים עדיין יכולים לדחוף את המדיניות לאזורים מנוונים, והשונות הגבוהה של תשואות מונטה קרלו פירושה שעדכונים גדולים אפקטיביים מזדמנים הם למעשה בלתי נמנעים ללא אילוצים מפורשים.
לא ניתן להשתמש ב-PPO למשימות בקרה רציפות.
PPO עובד בצורה יוצאת דופן על מדדי בקרה רציפים כמו תנועה של MuJoCo ומניפולציה רובוטית. המטרה הגזורה אינה תלויה במרחב הפעולה, ו-PPO עם מדיניות גאוסיאנית נותר בסיס חזק לבעיות החל מהליכה על ארבע ועד מניפולציה מיומנת של הידיים.
גרדיאנטים של מדיניות לא יציבה הם מיושנים ואינם משמשים עוד במחקר.
גרדיאנטים של מדיניות ונילה נותרו בסיסיים במחקר למידת חיזוקים. הם מופיעים כקו בסיס כמעט בכל מאמר אלגוריתמים חדש, ווריאציות כמו גרדיאנטים של מדיניות טבעית עדיין מעידות על עבודה מודרנית על אזורי אמון ואופטימיזציה מוגבלת.
PPO מבטיח שיפור מונוטוני בכל ריצת אימון.
PPO משפר את היציבות באופן דרמטי אך אינו מבטיח התקדמות מונוטונית. עקומות למידה עדיין מכילות רעש, ופונקציות תגמול פתולוגיות או אותות דלילים ביותר עדיין עלולים לגרום לכשלים. יציבות פירושה פחות קריסות קטסטרופליות, לא אפס כשלים.
בחרו ב-PPO כשאתם זקוקים לאלגוריתם למידה אמין וכללי לחיזוק, שעובד בסביבות מגוונות ללא כוונון נרחב. השתמשו בשיטות גרדיאנט מדיניות פשוטות בעיקר למטרות חינוכיות, ניתוח תיאורטי, או כשאתם רוצים לחקור באופן ספציפי את מצבי הכשל ש-PPO נועד לבטל.
RAG ו-LLMs מכוונים עדינים שניהם משפרים את איכות הפלט של בינה מלאכותית אך פועלים בדרכים שונות באופן מהותי. RAG מושך מידע חיצוני בזמן השאילתה, בעוד שכיוונון עדין אופה ידע חדש ישירות לתוך משקלי המודל. הבחירה ביניהם תלויה בתדירות שינוי הנתונים שלך ובסוג הדיוק שאתה צריך.
RAG עם הקשר חזותי מעשיר מודלים של שפה על ידי אחזור תמונות, תרשימים ודיאגרמות לצד טקסט, בעוד ש-RAG טקסטואלי בלבד מסתמך אך ורק על קטעים כתובים. RAG חזותי מצטיין במשימות רב-מודאליות כמו הבנת מסמכים ומענה חזותי לשאלות, בעוד ש-RAG טקסטואלי בלבד נותר פשוט, מהיר וזול יותר לפריסה.
RAG רב-מודאלי מעבד טקסט, תמונות, אודיו ווידאו יחד לאחזור עשיר יותר, בעוד ש-RAG טקסט-בלבד מתמקד אך ורק בתוכן כתוב. הבחירה תלויה בשאלה האם הנתונים ומקרי השימוש שלכם חורגים מעבר למסמכי טקסט רגיל.
"אבולוציה של בינה מלאכותית מונחית מחקר" מתמקדת בשיפורים קבועים ומצטברים בשיטות אימון, קנה מידה של נתונים וטכניקות אופטימיזציה בתוך פרדיגמות בינה מלאכותית קיימות, בעוד ש"שיבוש ארכיטקטורה" מציג שינויים מהותיים באופן שבו מודלים מתוכננים ומחשבים מידע. יחד, הם מעצבים את התקדמות הבינה המלאכותית באמצעות חידוד הדרגתי ושינויים מבניים פורצי דרך מדי פעם.
השוואה זו בוחנת את הפשרות המרכזיות בין מערכות בינה מלאכותית אוטונומיות לחלוטין לבין מסגרות הדורשות פיקוח אנושי, ומדגישה כיצד ארגונים מאזנים בין מהירות עיבוד גולמי לבין אחריות אתית, הפחתת סיכונים וטיפול במקרי קצה בלתי צפויים בסביבות אמיתיות.
