חוקי קנה מידה של מודלים וחדשנות בארכיטקטורה מייצגים שתי פילוסופיות מתחרות לקידום יכולות בינה מלאכותית. חוקי קנה מידה מצביעים על כך שמודלים גדולים יותר המאומנים על יותר נתונים מניבים רווחים צפויים, בעוד שחדשנות בארכיטקטורה מתמקדת בעיצובים חכמים יותר שמשיגים יותר עם פחות חישוב.
עקרונות אמפיריים המראים כיצד ביצועי מודל בינה מלאכותית משתפרים באופן צפוי עם יותר פרמטרים, נתונים וחישובים.
עיצובים חדשניים של רשתות עצביות המשפרים את יעילות ויכולות הבינה המלאכותית מעבר למה שמספקת קנה מידה גולמי בלבד.
| תכונה | חוקי קנה מידה של מודלים | חדשנות אדריכלית |
|---|---|---|
| פילוסופיית הליבה | דגמים גדולים יותר + יותר נתונים = ביצועים טובים יותר | עיצובים חכמים יותר משיגים יותר עם פחות מחשוב |
| גורם העלות העיקרי | מחשוב ואנרגיה לאימון | כישרונות מחקר ואיטרציה עיצובית |
| חיזוי הרווחים | צפוי מאוד באמצעות חוקי החזקה | בלתי צפוי; פריצות דרך הן ספורדיות |
| תומכים מרכזיים | תומכי השערת OpenAI, אנתרופיה וסקלביליות | DeepMind, חוקרים אקדמיים, מעבדות ממוקדות יעילות |
| דרישות מחשוב | עצום וגדל באופן אקספוננציאלי | לעיתים קרובות נמוך יותר; יכול לפעול על חומרה צנועה |
| תקרת ביצועים | מוגבל על ידי מחשוב ונתונים זמינים | מוגבל על ידי תחכום אנושי בתכנון |
| אופק זמן לתוצאות | צפוי אך איטי (חודשי אימונים) | משתנה; יכול להניב פריצות דרך במהירות |
| דוגמאות מייצגות | GPT-4, קלוד 3, ג'מיני אולטרה | ממבה, דגמי משרד החינוך, תשומת לב מהירה, מערכות RAG |
חוקי קנה המידה של מודלים נשענים על רעיון פשוט אך רב עוצמה: אינטליגנציה נובעת מקנה מידה. הראיות האמפיריות מהמאמר של קפלן משנת 2020 והחידוד של צ'ינצ'ילה משנת 2022 מראות ששיפורי ביצועים נובעים מקשרים מתמטיים צפויים. חדשנות אדריכלית נוקטת בגישה הפוכה, וטוענת שהנדסה חכמה יכולה להפיק יכולות רבות יותר ממחשוב קיים. שני המחנות מסכימים שקנה מידה עובד; הם חלוקים בדעתם האם זוהי הדרך היחידה קדימה.
אימון מודלים בקנה מידה חזיתי עולה כיום עשרות מיליוני דולרים במחשוב בלבד, כאשר מערכות ברמת GPT-4 עולות על פי הדיווחים על 100 מיליון דולר. חדשנות בארכיטקטורה מציעה כלכלה שונה באופן מהותי: מודל מעוצב היטב יכול להשתוות או לנצח מתחרים גדולים יותר בחלקיק מעלות האימון. זה הופך את החדשנות בארכיטקטורה לאטרקטיבית במיוחד עבור מעבדות אקדמיות, סטארט-אפים וארגונים ללא תקציבי היפר-סקיילר.
חוקי קנה מידה מספקים משהו נדיר במחקר בינה מלאכותית: יכולת חיזוי. אם מחשבים פעמיים, יודעים בערך לאיזה שיפור לצפות. חדשנות ארכיטקטונית היא מטבעה מסוכנת יותר משום שפריצות דרך תלויות בתובנה ולא בחשבון. עם זאת, כאשר פריצות דרך ארכיטקטוניות נוחתות, הן יכולות לעקוף שנים של שיפורי קנה מידה מצטברים. הטרנספורמר עצמו היה קפיצה כזו, שהתיישנה שנים של עבודת קנה מידה של RNN בן לילה.
התעשייה מכירה יותר ויותר בכך שלקנה מידה טהור יש מגבלות. אפילו הנהגת OpenAI דנה בפומבי בהתנגשות עם חומות סביב זמינות נתונים וכלכלת מחשוב. בינתיים, חדשנות בארכיטקטורה מאיצה: מודלים של שילוב מומחים כמו Mixtral, גרסאות קשב יעילות ומודלים של מרחב מצבים צוברים תאוצה. רוב מעבדות הפיתוח הפותחות כיום משתמשות בשתי האסטרטגיות בו זמנית, ומתייחסות אליהן כמשלימות ולא כמתחרות.
במבט קדימה, אף אחת מהגישות לבדה לא צפויה להביא את הבינה המלאכותית ליכולת ברמה האנושית. חוקי קנה מידה מצביעים על כך שנמשיך לדחוף את גודל המודל, אך התשואות הפוחתות ומגבלות משאבים יכפו על הסתמכות גדולה יותר על חוכמה אדריכלית. הדרך המבטיחה ביותר קדימה משלבת את שניהם: שימוש בחוקי קנה מידה כדי לקבוע את גודל המודל האופטימלי תוך יישום חידושים אדריכליים כדי למקסם את היכולת לכל פרמטר. גישה היברידית זו מגדירה את החזית הנוכחית של מחקר הבינה המלאכותית.
חוקי קנה מידה אומרים שמודלים גדולים יותר תמיד טובים יותר.
צ'ינצ'ילה הראתה שגודל המודל ונתוני האימון חייבים להתרחב יחד. מודל 70B שאומן על נתונים לא מספיקים יבצע ביצועים נמוכים יותר ממודל קטן יותר שאומן על נתונים מספקים. הקשר הוא על איזון, לא רק על גודל.
חדשנות בארכיטקטורה היא רק דרך להימנע מבזבוזים על מחשוב.
פריצות דרך ארכיטקטוניות מאפשרות לעיתים קרובות יכולות חדשות לחלוטין שקנה מידה לבדו אינו יכול להשיג. ה-Transformer לא רק הזיל מודלים; הוא אפשר עיבוד של הקשרים ארוכים יותר ואימון מקביל ש-RNNs לא יכלו לתמוך בהם באופן מהותי.
חוקי קנה המידה יימשכו ללא הגבלת זמן עד שנגיע ל-AGI.
חוקרים תיעדו תשואות הולכות ופוחתות בחזית. כל הכפלה של המחשוב מניבה כעת שיפורי ביצועים קטנים יותר מאשר הכפלות קודמות. איכות וזמינות הנתונים הופכות גם הן לאילוצים קשים שקנה מידה טהור אינו יכול להתגבר עליהם.
שתי גישות אלו סותרות זו את זו.
מודלים מודרניים של חזית הגבול משתמשים בשניהם. GPT-4 כנראה משלב חידושים אדריכליים לצד קנה מידה עצום. הוויכוח הוא למעשה על דגש והקצאת משאבים, לא על בחירה של "או-או".
חדשנות אדריכלית תמיד מנצחת את הרחבת השוק.
ארכיטקטורה חכמה ללא פרמטרים או נתונים מספיקים תתייצב. חדשנות בארכיטקטורה עובדת בדרך כלל בצורה הטובה ביותר בשילוב עם קנה מידה מתאים. המערכות המוצלחות ביותר מייעלות את שני הממדים בו זמנית.
בחרו בחוקי קנה מידה של מודלים כאשר יש לכם תקציבי מחשוב עצומים וזקוקים לשיפורים הדרגתיים צפויים בארכיטקטורות קיימות. בחרו חדשנות בארכיטקטורה כאשר משאבים מוגבלים, כאשר אתם זקוקים ליעילות בזמן הסקה, או כאשר אתם שואפים ליכולות שקנה מידה טהור מתקשה לספק. בפועל, מערכות הבינה המלאכותית המצליחות ביותר כיום משלבות את שתי הפילוסופיות במקום להתחייב לאחת מהן באופן בלעדי.
RAG ו-LLMs מכוונים עדינים שניהם משפרים את איכות הפלט של בינה מלאכותית אך פועלים בדרכים שונות באופן מהותי. RAG מושך מידע חיצוני בזמן השאילתה, בעוד שכיוונון עדין אופה ידע חדש ישירות לתוך משקלי המודל. הבחירה ביניהם תלויה בתדירות שינוי הנתונים שלך ובסוג הדיוק שאתה צריך.
RAG עם הקשר חזותי מעשיר מודלים של שפה על ידי אחזור תמונות, תרשימים ודיאגרמות לצד טקסט, בעוד ש-RAG טקסטואלי בלבד מסתמך אך ורק על קטעים כתובים. RAG חזותי מצטיין במשימות רב-מודאליות כמו הבנת מסמכים ומענה חזותי לשאלות, בעוד ש-RAG טקסטואלי בלבד נותר פשוט, מהיר וזול יותר לפריסה.
RAG רב-מודאלי מעבד טקסט, תמונות, אודיו ווידאו יחד לאחזור עשיר יותר, בעוד ש-RAG טקסט-בלבד מתמקד אך ורק בתוכן כתוב. הבחירה תלויה בשאלה האם הנתונים ומקרי השימוש שלכם חורגים מעבר למסמכי טקסט רגיל.
"אבולוציה של בינה מלאכותית מונחית מחקר" מתמקדת בשיפורים קבועים ומצטברים בשיטות אימון, קנה מידה של נתונים וטכניקות אופטימיזציה בתוך פרדיגמות בינה מלאכותית קיימות, בעוד ש"שיבוש ארכיטקטורה" מציג שינויים מהותיים באופן שבו מודלים מתוכננים ומחשבים מידע. יחד, הם מעצבים את התקדמות הבינה המלאכותית באמצעות חידוד הדרגתי ושינויים מבניים פורצי דרך מדי פעם.
השוואה זו בוחנת את הפשרות המרכזיות בין מערכות בינה מלאכותית אוטונומיות לחלוטין לבין מסגרות הדורשות פיקוח אנושי, ומדגישה כיצד ארגונים מאזנים בין מהירות עיבוד גולמי לבין אחריות אתית, הפחתת סיכונים וטיפול במקרי קצה בלתי צפויים בסביבות אמיתיות.
