קידוד זוגות בייט ו-WordPiece הם שני אלגוריתמים נפוצים של אסימון תת-מילות המפעילים מודלים מודרניים של NLP, הנבדלים בעיקר באופן שבו הם ממזגים אסימונים במהלך האימון ובמדדי הניקוד שלהם.
אלגוריתם אסימון של תת-מילות מפתח אשר ממזג באופן איטרטיבי את זוגות התווים הסמוכים הנפוצים ביותר לאסימונים חדשים.
שיטת טוקניזציה של תת-מילות מפתח הממזגת אסימונים על סמך מקסום סבירות ולא תדירות גולמית.
| תכונה | קידוד זוגות בייט | טוקניזציה של WordPiece |
|---|---|---|
| קריטריון מיזוג | תדירות זוגות סמוכים | סבירות נתוני האימון |
| מקרי שימוש עיקריים | סדרת GPT, RoBERTa, CLIP | ברט, דיסטילברט, אלברט |
| אתחול אוצר מילים | תווים בודדים או בתים | דמויות בודדות |
| טיפול במילים נדירות | מתפצל ליחידות תת-מילתיות תכופות | פיצולים המבוססים על פילוח מבוסס סבירות |
| מהירות אימון | בדרך כלל מהיר יותר עקב ספירה פשוטה | מעט איטי יותר עקב חישוב הסבירות |
| סגנון פלט אסימון | לעתים קרובות יותר גרגירי | לעתים קרובות יותר מאוחד עבור מילים נפוצות |
| פיתוח מקורי | 1994 כקומפרסיה; 2016 עבור NLP | צוות זיהוי הדיבור של גוגל |
BPE ניגש לטוקניזציה כבעיית דחיסה, וממזג בתאווה את הזוגות המופיעים בתדירות הגבוהה ביותר בקורפוס האימון. גישה פשוטה זו, המבוססת על תדר, הופכת אותה לאינטואיטיבית ומהירה יחסית לחישוב. WordPiece נוקט בזווית הסתברותית יותר, ושואל איזה מיזוג יגרום לנתוני האימון להיות הסבירים ביותר תחת הנחת מודל שפת יוניגרם. שינוי עדין זה במסגור מוביל לגבולות אסימונים שונים, במיוחד עבור שפות עשירות מבחינה מורפולוגית.
מכיוון ש-BPE רודף אך ורק אחר תדירות, הוא לפעמים מפצל מילים בנקודות לא טבעיות מבחינה לשונית אם אלו במקרה דפוסים נפוצים בנתונים. הגישה מבוססת הסבירות של WordPiece נוטה לכבד טוב יותר את גבולות המורפמות, ומייצרת אסימונים שמתיישרים קרוב יותר ליחידות בעלות משמעות. עבור אנגלית, שתי השיטות פועלות באופן דומה, אך ההבדל בולט יותר בשפות בעלות מורפולוגיה עשירה יותר כמו גרמנית או טורקית.
הבחירה בין טוקנייזרים אלה מסתכמת לעתים קרובות בארכיטקטורת המודל שבה משתמשים ולא בהעדפה עמוקה לאלגוריתם עצמו. משפחת ה-GPT של OpenAI עוצבה על בסיס BPE, כך שכל מי שמכוון או פורס מודלים אלה יורש את סכמת האסימון הזו. המערכת האקולוגית של BERT של גוגל ביססה את WordPiece כבחירה דה פקטו עבור מודלים של שנאים מבוססי מקודדים בלבד. התבססות זו של המערכת האקולוגית פירושה שמומחים כמעט ולא מחליפים טוקנייזרים באופן עצמאי מארכיטקטורות מודל.
שני האלגוריתמים מתקשים עם מקרי קצה מסוימים, אך בדרכים שונות. BPE יכול להיות שביר עם רווחים לבנים ופיסוק, ולפעמים מייצר טוקנים בלתי צפויים כאשר העיצוב משתנה. WordPiece בדרך כלל מוסיף סמל קידומת מיוחד (כמו ## ב-BERT) כדי לציין מילות משנה המשכיות, מה שהופך את שחזור הטקסט המקורי למפורש יותר אך גם מציג ארטיפקטים של טוקניזציה שמודלים במורד הזרם חייבים ללמוד להתמודד איתם.
בשנים האחרונות חלה התפתחות משמעותית מעבר לשני האלגוריתמים. SentencePiece מציעה מסגרת מאוחדת שיכולה ליישם אסימון של מודלי שפת BPE, WordPiece או יוניגרם עם ספרייה אחת. BPE ברמת הבייט (המשמשת ב-GPT-2) פועלת על בתים גולמיים ולא על תווי יוניקוד, ומבטלת לחלוטין בעיות אסימון לא ידועות. בינתיים, גישות חדשות יותר כמו BPE-dropout מציגות סטוכסטיות במהלך האימון כדי לשפר את החוסן. התפתחויות אלו מראות שבעוד ש-BPE ו-WordPiece נותרו בסיסיים, התחום ממשיך להתקדם.
BPE ו-WordPiece תמיד מייצרים טוקניזציות שונות עבור אותו טקסט.
עבור מילים נפוצות רבות באנגלית, שני האלגוריתמים מתכנסים למעשה לחלוקות זהות או כמעט זהות. ההבדלים הופכים בולטים יותר עם מילים נדירות, מונחים מורכבים מבחינה מורפולוגית, ובשפות בעלות דפוסי הטיה עשירים יותר מאשר אנגלית.
WordPiece משתמש ברשת נוירונים במהלך טוקניזציה.
למרות השימוש בו במודלים עצביים, WordPiece עצמו אינו עצבי לחלוטין. חישוב הסבירות מבוסס על סטטיסטיקות תדר פשוטות של יוניגרם, ולא על ייצוג עצבי נלמד. 'מודל השפה' ב-WordPiece הוא רק טבלת תדרים, לא שנאי או רשת חוזרת.
BPE לא יכול להתמודד עם שפות עם קבוצות תווים גדולות כמו סינית.
BPE ברמת בייט מטפל ספציפית בכך על ידי פעולה על בייט גולמי של UTF-8 במקום על תווים. משמעות הדבר היא שהוא יכול לייצג כל טקסט יוניקוד מבלי להיתקל בתו לא ידוע, אם כי ייתכן שידרוש יותר טוקנים לעשות זאת עבור סקריפטים עם אלפי תווים.
בחירת הטוקנייזר משפיעה באופן משמעותי על ביצועי המודל במשימות במורד הזרם.
בעוד שאסימוניזציה חשובה, ארכיטקטורת המודל וסולם נתוני האימון בדרך כלל מגמדים את בחירת האסימוניזציה בחשיבותה. מחקרים הראו ש-BPE ו-WordPiece מבצעים ביצועים דומים כאשר כל שאר הגורמים שווים, כאשר ההבדלים בדרך כלל קטנים ותלויים במשימה.
WordPiece הומצא במיוחד עבור BERT.
WordPiece קדמה ל-BERT בכמה שנים. גוגל פיתחה אותו בתחילה עבור חיפוש קולי ביפנית ובקוריאנית בתחילת שנות ה-2010, ולאחר מכן התאימה אותו לתרגום מכונה עצבי לפני שהוא הופיע אי פעם ב-BERT. הקשר עם BERT חזק פשוט משום ש-BERT הפך אותו למפורסם בקהילת המחקר של NLP.
גודל אוצר המילים של BPE לא משנה כל עוד הוא גדול מספיק.
גודל אוצר המילים משפיע באופן משמעותי הן על ביצועי המודל והן על יעילות החישוב. קטן מדי, והמודל מבזבז קיבולת על רצפי טוקנים ארוכים. גדול מדי, ומטריצות הטמעה הופכות למסורבלות בעוד שטוקים נדירים מקבלים ייצוגים גרועים. רוב העוסקים מכוונים בקפידה את ההיפר-פרמטר הזה, בדרך כלל מתיישבים בין 30,000 ל-50,000 טוקנים.
בחרו ב-BPE כשעובדים עם מודלים בסגנון GPT או כשאתם זקוקים לטוקניזציה פשוטה ומהירה שמטפלת בטקסט מגוון, כולל קוד ונתונים רב-לשוניים. בחרו ב-WordPiece כשבונים על ארכיטקטורות מבוססות BERT או כשאתם רוצים גבולות טוקן שמתיישרים בצורה הדוק יותר עם מורפמות לשוניות. עבור רוב העוסקים, ההחלטה מתקבלת למעשה על ידי המודל שאומן מראש שתבחרו.
RAG ו-LLMs מכוונים עדינים שניהם משפרים את איכות הפלט של בינה מלאכותית אך פועלים בדרכים שונות באופן מהותי. RAG מושך מידע חיצוני בזמן השאילתה, בעוד שכיוונון עדין אופה ידע חדש ישירות לתוך משקלי המודל. הבחירה ביניהם תלויה בתדירות שינוי הנתונים שלך ובסוג הדיוק שאתה צריך.
RAG עם הקשר חזותי מעשיר מודלים של שפה על ידי אחזור תמונות, תרשימים ודיאגרמות לצד טקסט, בעוד ש-RAG טקסטואלי בלבד מסתמך אך ורק על קטעים כתובים. RAG חזותי מצטיין במשימות רב-מודאליות כמו הבנת מסמכים ומענה חזותי לשאלות, בעוד ש-RAG טקסטואלי בלבד נותר פשוט, מהיר וזול יותר לפריסה.
RAG רב-מודאלי מעבד טקסט, תמונות, אודיו ווידאו יחד לאחזור עשיר יותר, בעוד ש-RAG טקסט-בלבד מתמקד אך ורק בתוכן כתוב. הבחירה תלויה בשאלה האם הנתונים ומקרי השימוש שלכם חורגים מעבר למסמכי טקסט רגיל.
"אבולוציה של בינה מלאכותית מונחית מחקר" מתמקדת בשיפורים קבועים ומצטברים בשיטות אימון, קנה מידה של נתונים וטכניקות אופטימיזציה בתוך פרדיגמות בינה מלאכותית קיימות, בעוד ש"שיבוש ארכיטקטורה" מציג שינויים מהותיים באופן שבו מודלים מתוכננים ומחשבים מידע. יחד, הם מעצבים את התקדמות הבינה המלאכותית באמצעות חידוד הדרגתי ושינויים מבניים פורצי דרך מדי פעם.
השוואה זו בוחנת את הפשרות המרכזיות בין מערכות בינה מלאכותית אוטונומיות לחלוטין לבין מסגרות הדורשות פיקוח אנושי, ומדגישה כיצד ארגונים מאזנים בין מהירות עיבוד גולמי לבין אחריות אתית, הפחתת סיכונים וטיפול במקרי קצה בלתי צפויים בסביבות אמיתיות.
