למידה זוגית של העדפות מאמנת מודלים על ידי השוואה ישירה של שני פריטים כדי לקבוע איזה מהם עדיף, בעוד שמודלים של ניקוד מוחלט מעריכים פריטים באופן עצמאי באמצעות סולמות דירוג קבועים. שתי הגישות כוללות מערכות המלצה על עוצמה, דירוג חיפוש ויישור העדפות אנושיות במערכות בינה מלאכותית, אך הן נבדלות באופן מהותי באופן שבו הן לוכדות ומייצגות שיפוט אנושי.
גישת אימון הלומדת מהשוואות יחסיות בין זוגות פריטים ולא מדירוגים בודדים.
מודלים המקצים ציונים מספריים בלתי תלויים לפריטים באמצעות קריטריוני דירוג עקביים.
| תכונה | למידה זוגית של העדפות | מודלים של ניקוד מוחלט |
|---|---|---|
| מנגנון הליבה | השווה שני פריטים, למד העדפה יחסית | הקצאת ניקוד עצמאי לכל פריט |
| דרישות קנה מידה | העדפה סדירה או בינארית מספקת | דורש סולם מרווחים או יחס מכויל |
| עקביות בוחן | סובל שינויים בקנה מידה אישי | מניח פרשנות אחידה של קנה המידה |
| הנחת טרנזיטיביות | מודלים או בדיקות מפורשות לטרנזיטיביות | מניח באופן מרומז טרנזיטיביות |
| עלות חישובית | גבוה יותר (ריבועי בספירת פריטים) | נמוך יותר (לינארי בספירת פריטים) |
| מאמץ אנושי | דרושות עוד השוואות, אבל כל אחת קלה יותר | פחות דירוגים נדרשים, אבל כל אחד מהם קשה יותר |
| פירוש פלט | דירוגים והסתברויות | ציונים מספריים ישירים |
| מקרה השימוש הטוב ביותר | העדפות סובייקטיביות, אסתטיקה, איכות | תכונות אובייקטיביות, קריטריונים ברורים |
למידה זוגית של העדפות מתייחסת לשיפוט כאל פתרון השוואתי ביסודו. כששואלים מישהו האם הוא מעדיף חופשה א' או חופשה ב', הוא בדרך כלל יכול לענות בביטחון. מבקשים ממנו לדרג כל חופשה בסולם של 1 עד 10, ומקבלים תוצאות לא עקביות. מודלים של ניקוד מוחלט, לעומת זאת, מניחים שאנחנו יכולים לבנות אבני מידה אוניברסליות שכולם מפרשים באופן זהה. פיצול פילוסופי זה מעצב כל החלטה במורד הזרם בתכנון מערכת.
איסוף העדפות זוגיות לרוב מרגיש קל יותר עבור מפרטים. לחיצה על 'שמאל עדיף' דורשת פחות עומס קוגניטיבי מאשר הקצאת ערכים מספריים מדויקים. עם זאת, אתם זקוקים לתוויות זוגיות רבות יותר כדי לקבוע דירוג מלא. ניקוד מוחלט מאפשר לכם לצבור נתונים דלילים - אם עשרה אנשים מדרגים סרט 7/10, יש לכם אות משמעותי. עם השוואות זוגיות, השוואות חסרות יוצרות פערים בגרף הדירוג שלכם שיש להסיק.
שיטות זוגיות מתחברות לתורת הבחירה החברתית ולאלגוריתמי דירוג טורנירים. שיטת הדירוג Elo בשחמט מתרגמת תוצאות משחקי זוגיות לתוצאות רציפות. ניקוד מוחלט נובע מתורת הבחינות הקלאסית ותורת תגובת הפריטים, שבהן תכונות סמויות מוערכות מתגובות נצפות. גישות עצביות מודרניות כמו מודל בראדלי-טרי עם הטמעות עמוקות משלבות את שתי המסורות.
GPT-4 של OpenAI ו-Claude של Anthropic מסתמכים במידה רבה על העדפות אנושיות זוגיות במהלך אימון RLHF. הערכים האנושיים משווים את תפוקות המודל, ונתוני ההעדפות מכוונים בצורה מדויקת מודלי תגמול. נטפליקס השתמשה בעבר בדירוגי כוכבים (מוחלטים) אך עברה לדירוגי "אגודל למעלה/למטה" (למעשה זוגיות) לאחר שגילתה שהאחרון מייצר אותות אמינים יותר. הדירוג של חיפוש גוגל משלב את שניהם: ציוני רלוונטיות מוחלטים עבור זוגות שאילתה-מסמך, בתוספת ניסויי שילוב זוגיות להערכה בזמן אמת.
ניקוד מוחלט קורס כאשר מעריכים משתמשים בסולמות בצורה שונה - 5/10 של אדם אחד עשוי להיות שווה ל-7/10 של אחר. שיטות זוגיות חסינות לבעיית קנה מידה מונוטונית זו אך פגיעות להעדפות אינטנסיביות. אם A מנצח את B, B מנצח את C, ו-C מנצח את A, המודל חייב לפתור את המעגל הזה. העדפות אנושיות אמיתיות לעיתים קרובות מפרות את הטרנזיטיביות, ויוצרות אתגרים פילוסופיים ומעשיים אמיתיים עבור שתי הגישות.
מערכות מתוחכמות משלבות יותר ויותר את שתי הפרדיגמות. ציונים מוחלטים מספקים עוגנים; השוואות זוגיות משפרות דירוגים. פלטפורמות מסוימות אוספות דירוגים מוחלטים אך מאמנות מודלים זוגיים על ידי יצירה דינמית של זוגות השוואה מהתפלגות הדירוג. אסטרטגיה היברידית זו מנסה ללכוד את היעילות של איסוף מוחלט עם החוסן של למידה זוגית.
שיטות זוגיות תמיד דורשות יותר נתונים מאשר ניקוד מוחלט.
בעוד שספירות השוואה זוגית גדלות באופן ריבועי, כל ביאור מהיר ואמין יותר. מחקרים במיקור חוץ מראים שעבור יעדי דיוק שווים, זמן הביאור הכולל מעדיף לרוב שיטות זוגיות. היעילות תלויה במידה רבה באסטרטגיות למידה אקטיביות שבוחרות זוגות בעלי אינפורמטיביות מקסימלית.
ציונים מוחלטים ניתנים לפירוש טוב יותר משום שהם מספרים.
ציון '7 מתוך 10' נראה קונקרטי, אך משמעותו משתנה באופן דרמטי בהתאם לתרבויות, להקשרים ולמצבי רוח אישיים. מחקרים על אינפלציית דירוגים מראים שמשתמשי נטפליקס שבעבר נתנו 3 כוכבים כעת נותנים אגודל למעלה עבור תוכן זהה. דירוגים זוגיים מתורגמים לעתים קרובות בצורה יציבה יותר להתנהגות משתמשים בפועל.
ניתן להמיר ציונים מוחלטים לדירוגים זוגיים בצורה טריוויאלית.
השוואת ציונים פשוטה מתעלמת מחוסר ודאות ומביטחון. שני פריטים המדורגים 7.0 ו-7.1 עשויים להיות בלתי ניתנים להבחנה סטטיסטית, אך המרה נאיבית כופה סדר. המרה נכונה דורשת מידול של שונות דירוג, מה שמחזיר את המורכבות ששיטות זוגיות מטפלות בה באופן טבעי.
העדפות אנושיות הן באופן טבעי חולפות.
מחקר פסיכולוגי מדגים באופן עקבי אי-טרנזיטיביות בהעדפות אמיתיות. אנשים עשויים להעדיף פיצה גדולה יותר בגלל המחיר, בינונית בגלל הנוחות, וקטנה בגלל הבריאות - ויוצרים מחזורים. שתי גישות המידול חייבות להתמודד או להתעלם ממציאות זו, כאשר לשיטות זוגיות יש כלים מפורשים יותר לעשות זאת.
שיטות זוגיות פועלות רק עבור העדפות בינאריות.
מסגרות זוגיות מודרניות מטפלות בהעדפות מדורגות, סדרים חלקיים ואפילו השוואות מרובות היבטים. התווית 'זוגית' מתייחסת למבנה ההשוואה, ולא לפורמט התגובה. מפרטים יכולים לבטא עוצמת העדפה, אי ודאות או שיפוטים רב-ממדיים בתוך מסגרות זוגיות.
בחרו בלמידת העדפות זוגיות בעת לכידת שיפוט אנושי סובייקטיבי - איכות המלצה, יעילות תוכן או העדפה אסתטית - כאשר קני מידה אינדיבידואליים משתנים באופן בלתי צפוי. בחרו בניקוד מוחלט בעת הערכת תכונות אובייקטיביות ומוגדרות היטב עם קריטריונים יציבים, או כאשר אתם זקוקים לפעולות אריתמטיות על פלטים. מערכות ייצור רבות משלבות כיום את שניהם: דירוגים מוחלטים לסינון גס, עידון זוגי לדירוג סופי.
RAG ו-LLMs מכוונים עדינים שניהם משפרים את איכות הפלט של בינה מלאכותית אך פועלים בדרכים שונות באופן מהותי. RAG מושך מידע חיצוני בזמן השאילתה, בעוד שכיוונון עדין אופה ידע חדש ישירות לתוך משקלי המודל. הבחירה ביניהם תלויה בתדירות שינוי הנתונים שלך ובסוג הדיוק שאתה צריך.
RAG עם הקשר חזותי מעשיר מודלים של שפה על ידי אחזור תמונות, תרשימים ודיאגרמות לצד טקסט, בעוד ש-RAG טקסטואלי בלבד מסתמך אך ורק על קטעים כתובים. RAG חזותי מצטיין במשימות רב-מודאליות כמו הבנת מסמכים ומענה חזותי לשאלות, בעוד ש-RAG טקסטואלי בלבד נותר פשוט, מהיר וזול יותר לפריסה.
RAG רב-מודאלי מעבד טקסט, תמונות, אודיו ווידאו יחד לאחזור עשיר יותר, בעוד ש-RAG טקסט-בלבד מתמקד אך ורק בתוכן כתוב. הבחירה תלויה בשאלה האם הנתונים ומקרי השימוש שלכם חורגים מעבר למסמכי טקסט רגיל.
"אבולוציה של בינה מלאכותית מונחית מחקר" מתמקדת בשיפורים קבועים ומצטברים בשיטות אימון, קנה מידה של נתונים וטכניקות אופטימיזציה בתוך פרדיגמות בינה מלאכותית קיימות, בעוד ש"שיבוש ארכיטקטורה" מציג שינויים מהותיים באופן שבו מודלים מתוכננים ומחשבים מידע. יחד, הם מעצבים את התקדמות הבינה המלאכותית באמצעות חידוד הדרגתי ושינויים מבניים פורצי דרך מדי פעם.
השוואה זו בוחנת את הפשרות המרכזיות בין מערכות בינה מלאכותית אוטונומיות לחלוטין לבין מסגרות הדורשות פיקוח אנושי, ומדגישה כיצד ארגונים מאזנים בין מהירות עיבוד גולמי לבין אחריות אתית, הפחתת סיכונים וטיפול במקרי קצה בלתי צפויים בסביבות אמיתיות.
