אסטרטגיות חקירה בלמידת חיזוק עוזרות לסוכנים לגלות התנהגויות מתגמלות בסביבות לא מוכרות, בעוד שהגדלת נתונים בלמידה מונחית מרחיבה את מערכי הנתונים של האימון כדי לשפר את הכללת המודלים. שתיהן מתמודדות עם מחסור בנתונים אך פועלות בפרדיגמות למידה שונות באופן מהותי.
שיטות המסייעות לסוכני למידה מחוזקת לגלות מצבים ופעולות חדשים כדי ללמוד מדיניות אופטימלית.
טכניקות שמרחיבות באופן מלאכותי מערכי נתונים של אימון על ידי יצירת גרסאות שעברו שינוי של דגימות קיימות.
| תכונה | אסטרטגיות חקירה ב-RL | הגדלת נתונים בלמידה מודרכת |
|---|---|---|
| פרדיגמת הלמידה | למידה חיזוקית | למידה מודרכת |
| מטרה עיקרית | גלה מצבים ופעולות מתגמלות | הגדלת גיוון וגודל מערכי הנתונים |
| אתגר הליבה שטופל | תגמולים דלילים וסביבות לא ידועות | נתוני אימון מוגבלים והתאמה יתר |
| טכניקות מפתח | אפסילון-חמדן, UCB, ICM, RND, Go-Explore | סיבוב, מיקסאפ, גזירה, הגדלה אוטומטית, תרגום לאחור |
| אות משוב | אותות תגמול מהסביבה | תוויות אמת קרקעית ממערך הנתונים |
| עלות חישובית | לעיתים קרובות גבוה עקב אינטראקציה סביבתית | באופן כללי מתון, נעשה במצב לא מקוון |
| השפעת יעילות לדוגמה | מפחית את האינטראקציות הסביבתיות הנדרשות | מפחית את דרישות הנתונים המתויגות |
| דומיינים נפוצים | משחקי משחקים, רובוטיקה, ניווט | ראייה ממוחשבת, NLP, זיהוי דיבור |
קיימות אסטרטגיות חקירה כדי לפתור את דילמת החקירה-ניצול בלמידת חיזוקים, שבה סוכן חייב להחליט בין ניסיון פעולות חדשות כדי לגלות תגמולים טובים יותר לבין היצמדות לפעולות מתגמלות ידועות. הגדלת נתונים משרתת מטרה שונה אך קשורה: היא מרחיבה באופן מלאכותי את הגודל האפקטיבי של מערך נתונים מתויג, ועוזרת למודלים מפוקחים להכליל טוב יותר לדוגמאות שלא נראו. שתי הטכניקות שואפות בסופו של דבר לשפר את יעילות הלמידה, אך הן מתמודדות עם צווארי בקבוק שונים באופן מהותי במסגרות הלמידה שלהן.
שיטות חקר RL בדרך כלל משנות את מדיניות בחירת הפעולה של הסוכן או מוסיפות תגמולים פנימיים כדי לעודד ביקור במצבים חדשים. טכניקות כמו למידה מונעת סקרנות מתגמלות את הסוכן על שגיאות חיזוי, ודוחפות אותו לטריטוריה לא מוכרת. הגדלת נתונים פועלת על ידי יישום טרנספורמציות על דגימות קיימות, ויצירת דוגמאות אימון חדשות ששומרות על תוויות תוך שינוי תכונות קלט. לדוגמה, תמונה מסובבת של חתול עדיין מתויגת כחתול, אך המודל רואה דפוס קלט שונה במקצת.
אסטרטגיות חקירה הן בעלות הערך הרב ביותר בסביבות עם תגמולים דלילים או מתעכבים, שבהן פעולות אקראיות צפויות להיכשל. משחקים כמו "נקמתה של מונטזומה", הידועים לשמצה בענישת חקירה, הניעו חלק ניכר מהחדשנות בתחום זה. הגדלת נתונים מצטיינת כאשר נתונים מתויגים יקרים או מוגבלים, דבר נפוץ בהדמיה רפואית, תמונות לוויין ומשימות NLP מיוחדות. זה גם חיוני לבניית מודלים עמידים בפני שינויים בעולם האמיתי בתאורה, כיוון או רעש.
יישום אסטרטגיות חקירה דורש סביבה אינטראקטיבית שבה הסוכן יכול לנקוט פעולות ולצפות בתוצאות, מה שהופך אותן לאינטנסיביות מבחינה חישובית ולעתים קרובות איטיות לאימון. הגדלת נתונים מיושמת בדרך כלל כשלב עיבוד מקדים או בתוך לולאות אימון, מה שהופך אותה לזולה יחסית וקלה לשילוב בצינורות קיימים. מטפל יכול להוסיף הרחבות למודל בפיקוח תוך דקות, בעוד שכוונון היפר-פרמטרים של חקירה עבור סוכן RL עשוי להימשך ימים או שבועות.
מעניין לציין, ששתי הגישות הללו מתכנסות בכמה מערכות מודרניות. למידה בפיקוח עצמי משלבת אלמנטים של שתיהן, תוך שימוש בטכניקות דמויות אוגמנטציה כדי ליצור אותות אימון ללא תוויות מפורשות. כמה שיטות RL עדכניות משתמשות גם בהגדלת נתונים, כגון DrQ ו-RAD, המיישמות אוגמנטציות תמונה כדי לשפר את יעילות הדגימה בלמידת חיזוק חזותי. האבקה הדדית זו מצביעה על כך שהגבולות בין הפרדיגמות הופכים גמישים יותר ויותר.
אסטרטגיות חקירה תמיד מאטות את אימון RL משום שהן מבזבזות זמן על פעולות אקראיות.
בעוד שחקירה נאיבית כמו פעולות אקראיות יכולה להיות לא יעילה, אסטרטגיות מתוחכמות כמו שיטות המונעות על ידי סקרנות למעשה מאיצות למידה על ידי הפניית סוכנים למצבים אינפורמטיביים. שיטות כמו RND ו-Go-Explore פתרו משחקים שנחשבו בעבר בלתי פתירים עבור סוכני RL.
הגדלת נתונים היא פשוט היפוך וסיבוב של תמונות.
אוגמנטציה מודרנית כוללת מדיניות נלמדת (AutoAugment), גישות גנרטיביות (סינתזה מבוססת GAN) וטכניקות ערבוב מתוחכמות (CutMix, Mixup). ב-NLP, אוגמנטציה כוללת תרגום לאחור, החלפת מילים הקשרית ואפילו שימוש במודלים גדולים של שפה ליצירת פרפרזות.
הגדלת פונקציות תמיד מובילה לביצועי מודל טובים יותר.
הרחבות מוגזמות או לא מתאימות עלולות לפגוע בביצועים על ידי הכנסת דגימות לא מציאותיות או הרס מאפיינים רלוונטיים לתווית. המפתח הוא מציאת הרחבות שמשמרות את התוכן הסמנטי תוך שינוי מאפיינים שטחיים, דבר שלעתים קרובות דורש מומחיות בתחום או מדיניות מלומדת.
חיפוש וניצול הם כוחות מנוגדים שיש לאזן ביניהם.
אסטרטגיות חקירה מודרניות אינן פשוט מתפשרות בין חקירה לניצול. שיטות כמו RL חלוקתי וגישות מונעות סקרנות משלבות את שתי המטרות במסגרות מאוחדות, שבהן חקירה מובילה באופן טבעי לניצול טוב יותר ככל שהסוכן לומד יותר על סביבתו.
הגדלת נתונים שימושית רק עבור נתוני תמונה.
טכניקות אוגמנטציה הוכחו כבעלות ערך רב במגוון שיטות, כולל אודיו (specAugment לדיבור), טקסט (תרגום לאחור, EDA), סדרות זמן (ריטוד, קנה מידה), ואפילו נתוני גרף (הפרעת צמתים, הפרעות קצה). עקרון יצירת וריאציות משמעותיות חל באופן נרחב על פני תחומי למידת מכונה.
בחרו אסטרטגיות חקירה בלמידה מפוקחת כשאתם בונים סוכנים שחייבים ללמוד באמצעות אינטראקציה עם סביבה, במיוחד כאשר התגמולים דלילים או שמרחב המצבים עצום. בחרו בהגדלת נתונים בלמידה מפוקחת בכל פעם שיש לכם מערך נתונים קבוע ואתם רוצים למקסם את ביצועי המודל מבלי לאסוף דוגמאות מתויגות נוספות. מערכות בינה מלאכותית מודרניות רבות נהנות משילוב של שתי הגישות, במיוחד בתחומים כמו רובוטיקה שבהם תפיסה חזותית פוגשת קבלת החלטות סדרתית.
RAG ו-LLMs מכוונים עדינים שניהם משפרים את איכות הפלט של בינה מלאכותית אך פועלים בדרכים שונות באופן מהותי. RAG מושך מידע חיצוני בזמן השאילתה, בעוד שכיוונון עדין אופה ידע חדש ישירות לתוך משקלי המודל. הבחירה ביניהם תלויה בתדירות שינוי הנתונים שלך ובסוג הדיוק שאתה צריך.
RAG עם הקשר חזותי מעשיר מודלים של שפה על ידי אחזור תמונות, תרשימים ודיאגרמות לצד טקסט, בעוד ש-RAG טקסטואלי בלבד מסתמך אך ורק על קטעים כתובים. RAG חזותי מצטיין במשימות רב-מודאליות כמו הבנת מסמכים ומענה חזותי לשאלות, בעוד ש-RAG טקסטואלי בלבד נותר פשוט, מהיר וזול יותר לפריסה.
RAG רב-מודאלי מעבד טקסט, תמונות, אודיו ווידאו יחד לאחזור עשיר יותר, בעוד ש-RAG טקסט-בלבד מתמקד אך ורק בתוכן כתוב. הבחירה תלויה בשאלה האם הנתונים ומקרי השימוש שלכם חורגים מעבר למסמכי טקסט רגיל.
"אבולוציה של בינה מלאכותית מונחית מחקר" מתמקדת בשיפורים קבועים ומצטברים בשיטות אימון, קנה מידה של נתונים וטכניקות אופטימיזציה בתוך פרדיגמות בינה מלאכותית קיימות, בעוד ש"שיבוש ארכיטקטורה" מציג שינויים מהותיים באופן שבו מודלים מתוכננים ומחשבים מידע. יחד, הם מעצבים את התקדמות הבינה המלאכותית באמצעות חידוד הדרגתי ושינויים מבניים פורצי דרך מדי פעם.
השוואה זו בוחנת את הפשרות המרכזיות בין מערכות בינה מלאכותית אוטונומיות לחלוטין לבין מסגרות הדורשות פיקוח אנושי, ומדגישה כיצד ארגונים מאזנים בין מהירות עיבוד גולמי לבין אחריות אתית, הפחתת סיכונים וטיפול במקרי קצה בלתי צפויים בסביבות אמיתיות.
