זירת AI

MultiSHAP: מסגרת מבוססת שפלי להסברת אינטראקציות בין־מודאליות במודלים של בינה מלאכותית רב־מודאלית

מאת Zhanliang Wang · פורסם: · עודכן:

המחקר מציג את MultiSHAP, מסגרת להסברת החלטות של מודלים המשלבים תמונה וטקסט באמצעות כימות האינטראקציות בין אזורי תמונה לבין יחידות טקסט. בניגוד לשיטות כגון מפות קשב ו־Grad-CAM, המסגרת אינה זקוקה לפרמטרים, לגרדיאנטים או לייצוגים הפנימיים של המודל. היא מבוססת על מדד האינטראקציה של שפלי ודורשת ממשק המאפשר לשנות בנפרד את הקלט החזותי והטקסטואלי ולקבל ציון מספרי רלוונטי למשימה, או דירוג שאפשר להמיר לציון באופן דטרמיניסטי. המסגרת מספקת הסברים להחלטות בודדות וסיכומים תיאוריים של דפוסי אינטראקציה ברמת מאגר נתונים. לפי התקציר, ניסויים במשימות רב־מודאליות מצביעים על זיהוי אינטראקציות המשקפות את התנהגות המודל, והערכות ברמת זוגות מספקות ראיות חלקיות למידע שמעבר לחשיבות של כל ערוץ בנפרד. ההסברים תלויים בהגדרת הציון, בחלוקת הקלט ובהסתרת רכיביו. הטקסט שסופק אינו כולל את גוף המאמר או תוצאות מספריות, ולכן אי אפשר להעריך ממנו את היקף היתרון או את עלות החישוב.

יישומי המאמר

MultiSHAP עשויה לעזור לארגונים להבין כיצד מערכות המשלבות תמונות וטקסט מגיעות להחלטות. למשל, במערכת העונה על שאלות על תמונות, אפשר לבחון אילו צירופים של אזור בתמונה ומילה בשאלה משפיעים יחד על התשובה, ולא רק אילו אזורים או מילים חשובים בנפרד. יכולת כזאת עשויה לתמוך בבדיקת מערכות, בחקירת טעויות ובהשוואת דפוסי התנהגות לאורך מאגר דוגמאות. יתרון מעשי הוא שאין צורך בגישה למנגנון הפנימי של המודל, ולכן אפשר עקרונית לבחון גם מודל חיצוני דרך ממשק מתאים. עם זאת, לא כל שירות צ'אט מתאים: נדרשת אפשרות לשנות בנפרד רכיבי תמונה וטקסט ולקבל ציון או דירוג מתאים. המסגרת היא כלי לבחינת התנהגות המודל, ולא הוכחה שהחלטותיו נכונות או שהקשרים שזוהו משקפים סיבתיות בעולם האמיתי. התועלת העסקית ועלויות ההפעלה אינן מכומתות בטקסט שסופק.

פירוט המאמר

היקף המקור שסופק

הטקסט שסופק כולל תקציר, פרטי פרסום, תודות ומידע מנהלי, אך אינו כולל את גוף המאמר, פרקי השיטות והתוצאות, טבלאות או נספחים. לכן הסיכום מפרט את המידע הזמין ואינו משחזר פרקים חסרים. כותרות המשנה תחת התקציר הן חלוקה הסברית של תוכנו, ולא כותרות שאומתו בגוף המאמר. המאמר מוצג באתר כגרסה מוקדמת של מחקר שעבר שיפוט והתקבל לפרסום, העשויה לעבור עריכה נוספת עד להופעת הגרסה הסופית.

תקציר

הרקע והבעיה המחקרית

מודלים רב־מודאליים נדרשים לשלב מידע ממקורות שונים, ובמחקר זה המוקד הוא שילוב ראייה ושפה. הצלחה במשימה אינה מסבירה כשלעצמה כיצד המודל מחבר בין רכיבי הקלט. החוקרים מצביעים על מגבלה של שיטות הסבר קיימות, ובהן מפות קשב ו־Grad-CAM: אף שהן מספקות תובנות על יחסים בין ערוצים, הן אינן מכמתות במפורש אינטראקציות מפורטות בין רכיב חזותי מסוים לרכיב טקסטואלי מסוים, והן דורשות גישה למידע פנימי של המודל.

המסגרת המוצעת: MultiSHAP

MultiSHAP היא מסגרת הסבר שאינה תלויה בארכיטקטורה מסוימת. היא משתמשת במדד האינטראקציה של שפלי כדי לייחס פלטים רב־מודאליים לאינטראקציות זוגיות בין רכיבים עדינים של הקלט, כגון מקטעי תמונה וטוקנים בטקסט. מוקד ההסבר הוא התרומה המשותפת של זוג רכיבים לפלט נבחר, ולא רק החשיבות של כל רכיב לבדו. כך מבקשים החוקרים לבחון את החיבור ההתנהגותי בין מידע חזותי למידע לשוני ברמת דוגמה מסוימת.

תנאי הגישה למודל

המסגרת אינה דורשת גישה לפרמטרים, לגרדיאנטים, למשקלי קשב או לייצוגים פנימיים. עם זאת, ההגדרה כבלתי תלויה בארכיטקטורה אינה משמעה שהיא פועלת עם כל ממשק אפשרי. נדרש ממשק שאילתות המאפשר לבצע שינויים נפרדים בקלט החזותי ובקלט הטקסטואלי. הממשק צריך להחזיר ציון מספרי יחיד הרלוונטי למשימה, ישירות או באמצעות פלט מדורג שאפשר לבנות ממנו ציון באופן דטרמיניסטי. בטקסט הזמין אין פירוט של מספר השאילתות הדרוש, שיטת האמידה, זמני הריצה או העלות החישובית.

שני סוגי ההסברים

החוקרים מגדירים שני תוצרים מרכזיים. הראשון הוא הסבר ברמת מופע: אפיון האופן שבו רכיבי תמונה וטקסט מסוימים משפיעים במשותף על פלט שנבחר לבדיקה. השני הוא סיכום תיאורי ברמת מאגר נתונים, המתאר דפוסי אינטראקציה על פני דוגמאות. הסיכומים מותנים במודל שנבדק, בפונקציית הערך המשמשת למדידת הפלט, בחלוקת הקלט למאפיינים ובפעולת המיסוך. לכן יש לפרש אותם ביחס להגדרות הבדיקה, ולא כתיאור אוניברסלי של קשרים בין תמונות למילים.

הערכה אמפירית ומקורות הנתונים

לפי התקציר, המסגרת נבחנה בניסויים על אמות מידה רב־מודאליות, באמצעות הערכות ברמת זוגות ובאמצעות מקרי בוחן של החלטות בודדות. בתודות מוזכרים ארבעה משאבי נתונים ציבוריים שנעשה בהם שימוש: GestaltMatcher Database, המכונה GMDB, וכן VQAv2, MS COCO ו־Flickr30K. עם זאת, הטקסט אינו מפרט את תפקידו של כל מאגר, את המודלים שנבדקו, את מספר הדוגמאות, את אופן הדגימה או את חלוקת הנתונים. אין בו גם תיאור של אוכלוסיית משתתפים אנושית, ואין בסיס להסיק ממנו על ניסוי קליני.

הממצאים המדווחים

הניסויים מספקים, לפי החוקרים, ראיות לכך ש־MultiSHAP מזהה אינטראקציות ברמת הקלט הרלוונטיות להתנהגות המודל. נוסף על כך, ההערכות ברמת זוגות מספקות ראיות חלקיות לכך שההתאמות הנאמדות בין מקטעי תמונה לטוקנים מכילות מידע שמעבר לחשיבות של כל ערוץ בפני עצמו. מקרי הבוחן מדגימים שימוש במסגרת לבחינת החלטות רב־מודאליות מסוימות. הניסוח הזהיר חשוב: אין בתקציר טענה להוכחה מלאה של ההתאמות, והמקור אינו מספק ציוני ביצוע, שיעורי שיפור, מבחני מובהקות או רווחי סמך.

מסקנות וגבולות הפרשנות

התרומה המרכזית היא כלי כמותי לבחינת אינטראקציות תמונה–טקסט בלי צורך בחשיפת המנגנון הפנימי של המודל. ההערכה המתוארת מתמקדת במודלי ראייה–שפה; הרחבה לצירופים אחרים של ערוצים מוצגת כאפשרות עקרונית בלבד. מן המידע שסופק אין להסיק שהמסגרת משפרת את דיוק המודל, מוכיחה קשרים סיבתיים בעולם או מתאימה לכל מערכת מסחרית. הערכה מלאה של אמינותה, יעילותה ורגישותה לבחירות המיסוך מחייבת עיון בגוף המאמר ובנספחים.

תודות, מימון והצהרות

המחקר נתמך במענק NIH שמספרו OD037960 ובמכון המחקר של בית החולים לילדים בפילדלפיה. המחברים מודים לעמיתים על הערות בנוגע לפרשנות מודלים רב־מודאליים וליוצרי מאגרי הנתונים. הם מצהירים שאין להם ניגודי עניינים.

היילייטס

  • כימות אינטראקציות בין תמונה לטקסט: MultiSHAP משתמשת במדד האינטראקציה של שפלי כדי להסביר כיצד זוגות של מקטעי תמונה וטוקנים משפיעים יחד על פלט המודל, מעבר לבחינת חשיבותם בנפרד.
  • ללא צורך בגישה למנגנון הפנימי: המסגרת אינה דורשת פרמטרים, גרדיאנטים או משקלי קשב, אך מחייבת ממשק המאפשר שינוי נפרד של שני ערוצי הקלט והפקת ציון מספרי מתאים.
  • הסברים בשתי רמות: אפשר לבחון החלטה בודדת ולסכם דפוסי אינטראקציה ברמת מאגר; הפרשנות תלויה במודל, בפונקציית הערך, בחלוקת הקלט ובמיסוך.
  • ראיות אמפיריות מסויגות: התקציר מדווח על אינטראקציות רלוונטיות להתנהגות המודל ועל ראיות חלקיות למידע שמעבר לחשיבות חד־מודאלית. הטקסט שסופק אינו כולל נתונים מספריים המאפשרים לכמת את היתרון.
  • הרחבה מעבר לראייה–שפה טרם הודגמה במידע הזמין: המחברים מציעים שהניסוח עשוי להתאים גם לצירופי ערוצים אחרים, אך ההערכה המתוארת היא של מודלי תמונה וטקסט.

שאלות נפוצות

מהי MultiSHAP וכיצד היא מסבירה החלטות של בינה מלאכותית המשלבת תמונה וטקסט?

MultiSHAP היא מסגרת להסבר מודלים רב־מודאליים, המכמתת כיצד רכיבים חזותיים וטקסטואליים משפיעים יחד על פלט נבחר של המודל. במקום להציג רק אילו אזורים בתמונה או מילים בטקסט חשובים בנפרד, היא מייחסת השפעה לאינטראקציות בין זוגות של רכיבים, כגון מקטע תמונה וטוקן בטקסט. כך אפשר לבחון כיצד שילוב המידע החזותי והלשוני קשור להחלטה מסוימת.

מדוע מפות קשב ו־Grad-CAM אינן מספיקות להסבר אינטראקציות בין תמונה לטקסט?

מפות קשב ו־Grad-CAM מספקות תובנות על קשרים בין אופנויות, אך אינן מכמתות במפורש אינטראקציות מפורטות בין רכיבים חזותיים וטקסטואליים בודדים, ודורשות גישה למידע פנימי של המודל. MultiSHAP מתמקדת בכימות ההשפעה המשותפת של זוגות רכיבים על הפלט, ללא צורך בפרמטרים, בגרדיאנטים, במשקלי קשב או בייצוגים פנימיים.

כיצד אפשר להשתמש ב־MultiSHAP להסברת מודל דרך ממשק שאילתות בלבד?

השימוש ב־MultiSHAP מחייב ממשק המאפשר לשנות או למסך בנפרד את הקלט החזותי ואת הקלט הטקסטואלי, ולקבל ציון מספרי יחיד הרלוונטי למשימה. הציון יכול להתקבל ישירות, או להיבנות באופן דטרמיניסטי מפלט מדורג. לכן, היעדר גישה למנגנונים הפנימיים של המודל אינו מכשול כשלעצמו, אך לא כל ממשק למודל עומד בדרישות האלה.

כיצד מדד האינטראקציה של שפלי מסייע לנתח קשרים בין מקטעי תמונה לטוקנים?

MultiSHAP משתמשת במדד האינטראקציה של שפלי — Shapley Interaction Index — כדי לייחס לפלט המודל השפעות של אינטראקציות זוגיות בין רכיבים משתי האופנויות. הניתוח מתמקד באופן שבו שני רכיבים משפיעים יחד על הפלט הנבחר, ולא רק בחשיבות של כל אחד מהם בנפרד. בניסויים נמצאו ראיות חלקיות לכך שההתאמות המוערכות בין מקטעי תמונה לטוקנים מכילות מידע מעבר למדדי חשיבות חד־מודאליים.

מה ההבדל בין הסבר להחלטה בודדת לבין סיכום אינטראקציות ברמת מערך נתונים?

הסבר ברמת הדוגמה מתאר כיצד רכיבים חזותיים וטקסטואליים מסוימים משפיעים יחד על פלט נבחר במקרה יחיד. לעומתו, סיכום ברמת מערך הנתונים מתאר דפוסי אינטראקציה על פני דוגמאות רבות. סיכומים אלה תלויים במודל, בפונקציית הערך, בחלוקת הקלט לרכיבים ובפעולת המיסוך שנבחרו; לכן יש לפרשם כתיאורים במסגרת הגדרות אלו, ולא כמסקנות אוניברסליות על קשרים בין תמונה לטקסט.

מהן מגבלות הראיות לגבי MultiSHAP והרחבתה לסוגי מידע נוספים?

הניסויים במודלי ראייה־שפה מספקים ראיות לכך ש־MultiSHAP מזהה אינטראקציות ברמת הקלט הרלוונטיות להתנהגות המודל. עם זאת, הראיות לכך שההתאמות הזוגיות מוסיפות מידע מעבר לחשיבות חד־מודאלית הן חלקיות. הניסוח המתמטי עשוי לאפשר הרחבה לשילובי אופנויות נוספים, אך ההערכה המתוארת בוצעה במודלים המשלבים ראייה ושפה בלבד.

מחקרים קשורים