RAG עם הקשר חזותי מעשיר מודלים של שפה על ידי אחזור תמונות, תרשימים ודיאגרמות לצד טקסט, בעוד ש-RAG טקסטואלי בלבד מסתמך אך ורק על קטעים כתובים. RAG חזותי מצטיין במשימות רב-מודאליות כמו הבנת מסמכים ומענה חזותי לשאלות, בעוד ש-RAG טקסטואלי בלבד נותר פשוט, מהיר וזול יותר לפריסה.
גישת יצירה מורחבת באמצעות אחזור (recribing-augmented generation) שמושכת תמונות, איורים ונתונים חזותיים לתגובות מודל שפה בסיסיות.
מערך מסורתי של יצירה מורחבת של אחזור נתונים, המבסס מודלי שפה באמצעות קטעים כתובים ממסמכים בלבד.
| תכונה | RAG עם הקשר חזותי | RAG עם הקשר טקסטואלי בלבד |
|---|---|---|
| אופן הקלט | טקסט + תמונות + נתונים חזותיים | טקסט בלבד |
| שיטת אחזור | הטמעות רב-מודאליות (למשל, ColPali, CLIP) | הטמעות טקסט (למשל, BGE, OpenAI ada) |
| הטוב ביותר עבור | תרשימים, דיאגרמות, מסמכים סרוקים, אבטחת איכות חזותית | מאמרים, שאלות נפוצות, קוד, טקסט מובנה |
| מוּרכָּבוּת | גבוה יותר - דורש מקודדי ראייה ויותר אחסון | נמוך יותר - צינורות ואינדוקס פשוטים יותר |
| עֲלוּת | גבוה יותר עקב עיבוד תמונה ושימוש באסימונים | נמוך יותר, במיוחד עם קטעי טקסט קטנים |
| חֶבִיוֹן | מעט גבוה יותר מקידוד תמונה | בדרך כלל מהיר יותר |
| תלות ב-OCR | לעיתים קרובות מוסר על ידי אחזור תמונה ישיר | נדרש עבור קבצי PDF סרוקים או מבוססי תמונה |
| מודלים לדוגמה | GPT-4V, Gemini 1.5, LLaVA, Qwen-VL | GPT-4, קלוד, מיסטרל, לאמה 3 |
RAG טקסטואלי בלבד עובר דרך ידועה: מסמכים מחולקים לחתיכות, מוטמעים לווקטורים ומאוחסנים במסד נתונים לחיפוש דמיון. RAG חזותי נוקט בגישה שונה באופן מהותי על ידי קידוד עמודים או תמונות שלמים כהטמעות חזותיות, המאפשרות למערכת לאחזר על סמך פריסה, תרשימים ואיורים במקום רק מילים. שינוי זה אומר ש-RAG חזותי יכול למצוא מידע שנמצא בתוך גרפים, טבלאות או הערות בכתב יד ש-OCR עלול לקלקל.
כאשר מסמכים מכילים פריטים ויזואליים עשירים כמו גרפים פיננסיים, דיאגרמות הנדסיות או הדמיה רפואית, RAG חזותי נוטה לעלות על גישות טקסט בלבד. מחקרים על מדדי DocVQA ו-ChartQA מראים שמודלים המקבלים תמונות שאוחזרו לצד טקסט עונים על שאלות בצורה נכונה יותר מאלה המסתמכים על טקסט שחולץ בלבד. עם זאת, עבור מקורות טקסטואליים גרידא כמו פוסטים בבלוג או מאגרי קוד, RAG טקסט בלבד מתפקד באותה מידה ללא התקורה הנוספת.
RAG חזותי דורש יותר מהתשתית שלך. אחסון הטמעות תמונות דורש יותר מקום בדיסק, מקודדי ראייה כמו ColPali דורשים מעבדים גרפיים (GPUs) כדי לפעול ביעילות, והזנת תמונות למודלי שפה צורכת הרבה יותר טוקנים מאשר טקסט רגיל. RAG טקסטואלי בלבד נותר הבחירה החסכונית עבור רוב הצוותים, במיוחד כאשר עובדים עם מאמרים או תיעוד גדולים שאינם זקוקים לפרשנות חזותית.
בחרו ב-RAG חזותי כאשר מאגר הידע שלכם כולל קבצי PDF סרוקים, מצגות, קטלוגי מוצרים עם תמונות או כל תוכן שבו לפריסה החזותית יש משמעות. RAG טקסטואלי בלבד זורח עבור ויקי של תמיכת לקוחות, חוזים משפטיים בטקסט רגיל, תיעוד קוד וסוכני שיחה שבהם מהירות ועלות חשובות יותר מנאמנות חזותית. מערכות ייצור רבות משלבות כיום את שניהם, ומאפשרות לאחזר טקסט עבור שאילתות מסוימות ותמונות עבור אחרות.
RAG חזותי דורש מודל רב-מודאלי המסוגל לעבד תמונות, כגון GPT-4V, Claude 3.5 Sonnet, Gemini 1.5 Pro, או חלופות בקוד פתוח כמו LLaVA ו-Qwen-VL. RAG טקסט-בלבד עובד כמעט עם כל מודל שפה, כולל מודלים קטנים יותר במשקל פתוח כמו Llama 3 8B או Mistral 7B, מה שהופך אותו לנגיש אפילו בחומרה צנועה. פער תאימות זה מצטמצם ככל שיותר מודלים צוברים יכולות ראייה, אך הגדרות טקסט-בלבד עדיין מציעות אפשרויות פריסה רחבות יותר כיום.
RAG חזותי מחליף לחלוטין את RAG הטקסטואלי בלבד.
אחזור טקסטואלי חזותי משלים ולא מחליף גישות טקסטואליות. עבור קורפוסים טקסטואליים גרידא כמו מאמרים או קוד, אחזור טקסטואלי עדיין מהיר ומדויק באותה מידה. רוב מערכות הייצור נהנות ממערכת היברידית המנתבת שאילתות למאחזר המתאים.
RAG טקסטואלי בלבד אינו יכול להתמודד עם מסמכים עם תמונות כלל.
RAG טקסט-בלבד עדיין יכול לעבד מסמכים המכילים תמונות על ידי הפעלת OCR תחילה ואינדוקס של הטקסט שחולץ. האיכות תלויה במידה רבה בצינור ה-OCR, ופריסות מורכבות לעתים קרובות מאבדות משמעות, אך זוהי גישה מעשית עבור מקרי שימוש רבים.
RAG חזותי תמיד נותן תשובות טובות יותר מאשר RAG טקסטואלי בלבד.
RAG חזותי עולה בביצועיו על RAG טקסטואלי בלבד רק כאשר המידע החזותי שאוחזר רלוונטי בפועל לשאילתה. עבור שאלות על פרוזה, קוד או טקסט מובנה, הוספת תמונות יכולה להכניס רעש ולהגדיל את העלויות מבלי לשפר את הדיוק.
אתה צריך GPT-4V או Gemini כדי לעשות RAG ויזואלי.
מודלים בקוד פתוח כמו LLaVA, Qwen-VL, InternVL ו-MiniCPM-V יכולים להתמודד עם משימות RAG חזותיות ביעילות. מקודדי ראייה קטנים יותר בשילוב עם מעבדים כמו ColPali פועלים על גבי מעבדים גרפיים (GPUs) צרכניים, מה שהופך את RAG חזותיות לנגיש ללא ממשקי API קנייניים.
RAG חזותי יקר מדי לשימוש בייצור.
בעוד ש-RAG חזותי עולה יותר מטקסט בלבד, טכניקות כמו דחיסת תמונה, הטמעת מטמון ואחזור סלקטיבי שומרות על עלויות ניהוליות. עבור תעשיות כבדות מסמכים כמו משפט, בריאות ופיננסים, יתרונות הדיוק מצדיקים לעתים קרובות את ההוצאה.
בחרו בגישה ויזואלית של RAG כאשר הנתונים שלכם עשירים בתמונות או כאשר פריסה, תרשימים ודיאגרמות נושאים משמעות קריטית - זהו המנצח הברור עבור בינה מלאכותית של מסמכים ומענה ויזואלי לשאלות. הישארו עם RAG טקסטואלי בלבד עבור מאגרי ידע מסורתיים, פריסה מהירה יותר ועלויות נמוכות יותר, במיוחד כאשר התוכן שלכם כבר בצורת טקסט נקי. צוותים רבים מגלים שגישה היברידית עובדת בצורה הטובה ביותר, ומאפשרת לסוג השאילתה להחליט באיזה נתיב אחזור לבחור.
RAG ו-LLMs מכוונים עדינים שניהם משפרים את איכות הפלט של בינה מלאכותית אך פועלים בדרכים שונות באופן מהותי. RAG מושך מידע חיצוני בזמן השאילתה, בעוד שכיוונון עדין אופה ידע חדש ישירות לתוך משקלי המודל. הבחירה ביניהם תלויה בתדירות שינוי הנתונים שלך ובסוג הדיוק שאתה צריך.
RAG רב-מודאלי מעבד טקסט, תמונות, אודיו ווידאו יחד לאחזור עשיר יותר, בעוד ש-RAG טקסט-בלבד מתמקד אך ורק בתוכן כתוב. הבחירה תלויה בשאלה האם הנתונים ומקרי השימוש שלכם חורגים מעבר למסמכי טקסט רגיל.
"אבולוציה של בינה מלאכותית מונחית מחקר" מתמקדת בשיפורים קבועים ומצטברים בשיטות אימון, קנה מידה של נתונים וטכניקות אופטימיזציה בתוך פרדיגמות בינה מלאכותית קיימות, בעוד ש"שיבוש ארכיטקטורה" מציג שינויים מהותיים באופן שבו מודלים מתוכננים ומחשבים מידע. יחד, הם מעצבים את התקדמות הבינה המלאכותית באמצעות חידוד הדרגתי ושינויים מבניים פורצי דרך מדי פעם.
השוואה זו בוחנת את הפשרות המרכזיות בין מערכות בינה מלאכותית אוטונומיות לחלוטין לבין מסגרות הדורשות פיקוח אנושי, ומדגישה כיצד ארגונים מאזנים בין מהירות עיבוד גולמי לבין אחריות אתית, הפחתת סיכונים וטיפול במקרי קצה בלתי צפויים בסביבות אמיתיות.
אוטונומיה של סוכני בינה מלאכותית מאפשרת למערכות תוכנה לתכנן ולפעול באופן עצמאי לקראת יעדים, בעוד שפיתוח מונחה ידי אדם שומר על אנשים מעודכנים ומכוונים כל שלב. שתי הגישות מעצבות את אופן בניית מוצרי בינה מלאכותית, והבחירה ביניהן משפיעה על אמינות, יצירתיות ובקרה בפריסות בעולם האמיתי.
