זירת AI

זליגת מידע ופרשנותיות במודלים מבוססי מושגים

מאת Enrico Parisini, Tapabrata Chakraborti, Chris Harbron, Ben D. MacArthur, Christopher R.S. Banerji · פורסם: · עודכן:

המאמר מציג מסגרת מידע-תיאורטית למדידת leakage במודלים מבוססי-מושגים, כדי להעריך עד כמה הייצוגים הנלמדים נשארים נאמנים למושגים האנושיים שהם אמורים לייצג. המחברים מגדירים שני מדדים חדשים: CTL למדידת מידע על המשימה שהודלף לתוך כל מושג, ו-ICL למדידת מידע בין-מושגי עודף. באמצעות ניסויים על מודלים קלאסיים ו-Concept Embedding Models הם מראים שהמדדים הללו מנבאים היטב התנהגות תחת התערבות, עולים על מדדים קודמים, וחושפים מקורות מרכזיים ל-leakage כגון מושגים אקספרסיביים מדי, סט מושגים חסר, וראש סיווג לא-מתאים. בנוסף, הם מראים ש-CEMs נושאים leakage מובנה ואף מציגים alignment leakage. המסקנה היא שיש למדוד leakage באופן שיטתי לפני שמגדירים מודל שקוף לשימושים רגישים.

יישומי המאמר

המאמר שימושי כשמפתחים מודלים מבוססי-מושגים (Concept Bottleneck Models ו-Concept Embedding Models) ורוצים לבדוק האם הם באמת מסבירים את ההחלטה או רק מסתירים מידע נוסף בתוך הייצוגים שלהם. הוא מספק כלים מעשיים למדידת leakage, כלומר מצב שבו המודל משתמש במידע לא-מוצהר בתוך המושגים, כך שאפשר לבחור ארכיטקטורה, רמת פיקוח על המושגים, ומספר מושגים בצורה מושכלת יותר. בפועל, החוקרים יכולים להשתמש במדדים CTL ו-ICL כדי להשוות בין מודלים, לכייל היפר-פרמטרים, ולזהות אם שיפור בביצועי הטעיה בא על חשבון interpretability. המאמר רלוונטי במיוחד ליישומים רגישים כמו רפואה, שבהם חשוב שמודל מבוסס-מושגים יהיה ניתן להתערבות אנושית אמינה ולא רק מדויק סטטיסטית. המאמר גם נותן הנחיות תכנון: לבדוק אם סט המושגים שלם, אם ראש הסיווג מתאים, ואם ייצוג המושגים אינו עשיר מדי ביחס למושגים המוצהרים.

פירוט המאמר

רקע ומוטיבציה

המאמר עוסק באחד האתגרים המרכזיים במודלים מבוססי-מושגים: הפער בין ההבטחה לפרשנות אנושית לבין היכולת של המודל לנצל מידע נסתר שאינו תואם את המושגים המוצהרים. במודלים כמו Concept Bottleneck Models, המערכת אמורה לחזות תחילה מושגים ברמה גבוהה, ורק אחר כך להפיק את התשובה הסופית. לכאורה, המבנה הזה מאפשר בקרה אנושית, תיקון מושגים והבנה ישירה של ההיגיון שהוביל להחלטה. בפועל, מודלים כאלה לעיתים “מדליפים” מידע נוסף לתוך הייצוגים הנלמדים, כך שהחלטת המודל נשענת לא רק על המושגים הגלויים אלא גם על מידע סמוי. מצב זה פוגע בפרשנות, בבטיחות וביכולת ההתערבות, במיוחד בהקשרים רפואיים או אחרים שבהם הסבר שגוי עלול להיות מסוכן.

תרומת המחקר

התרומה המרכזית היא מסגרת מידע-תיאורטית שמגדירה באופן מדויק מהו leakage במודלים מבוססי-מושגים, ומציגה שני מדדים חדשים למדידתו. הראשון הוא CTL, Concepts-Task Leakage, שמודד עד כמה כל מושג לומד מידע עודף על המשימה מעבר למה שקיים במושגי האמת. השני הוא ICL, Interconcept Leakage, שמודד עד כמה מושג מסוים נושא מידע עודף על מושגים אחרים מעבר למבנה האמיתי של הקשרים ביניהם. המחברים מראים שהמדדים הללו אינם רק תאורטיים: הם מנבאים היטב את התנהגות המודל כאשר מבצעים התערבויות על מושגים, כלומר בודקים מה קורה אם מחליפים מושגים חזויים בערכי אמת. זהו מבחן פרקטי חשוב לאמינות ופרשנות.

מסגרת המודלים שנבדקה

המאמר סוקר תחילה את הארכיטקטורות הרלוונטיות: CBMs קלאסיים, שבהם יש מקודד מושגים וראש סיווג; ו-CEMs, Concept Embedding Models, שבהם כל מושג מיוצג באמצעות וקטור עשיר יותר, שמאפשר גמישות וביצועים גבוהים יותר אך גם פותח פתח לליקויים בפרשנות. המחברים מתארים שלושה מצבי אימון ל-CBMs: אימון בלתי-תלוי, אימון סדרתי ואימון משותף. לאחר מכן הם מראים כיצד CEMs, בשל ייצוגיהם המימדיים, יכולים לשלב בתוכם מידע נוסף על המשימה והקשרים בין המושגים, כך שהישגי הדיוק הגבוהים שלהם באים לעיתים במחיר של interpretability נמוכה יותר.

המדדים CTL ו-ICL

CTL מוגדר כהפרש הלא-שלילי בין המידע המנורמל של המושג הנלמד על התווית לבין זה של מושג האמת. אם הייצוג למד יותר מידע על המשימה מאשר מותר לפי המושג האמיתי, זהו leakage. ICL בנוי באופן דומה אך בוחן קשרים בין זוגות מושגים: הוא משווה בין המידע שהמושג הנלמד מספק על מושג אחר לבין המידע האמיתי בין אותם מושגים. שניהם מנורמלים באמצעות אנטרופיה כדי לאפשר השוואה בין מושגים. המחברים מנסחים גם “Leakage Criterion” המאפשר להסיק, בזהירות סטטיסטית, מתי מודל אחד מדליף יותר ממודל אחר.

ממצאים אמפיריים ב-CBMs

בניסויים על מערכי נתונים סינתטיים ומציאותיים, המחקר מראה ש-CTL ו-ICL רגישים יותר ל-leakage מאשר מדדים קיימים. הם מצליחים להבחין בין מודלים בעלי אותו דיוק לכאורה אך interpretability שונה מאוד. במיוחד, הם מתאימים טוב יותר לביצועים תחת התערבות, כלומר לעד כמה המודל מתנהג כמצופה כאשר מתקנים לו את ערכי המושגים. לעומת זאת, מדדים קודמים כמו OIS ו-NIS סובלים מחוסר יציבות, רגישות נמוכה או ערכים לא-אפסיים גם במודלים קשיחים שאמורים להיות נקיים מ-leakage. מכאן שהמדדים החדשים נותנים תמונה אמינה ומדויקת יותר של איכות פרשנית.

גורמי leakage עיקריים

המחקר מזהה ארבעה מקורות מרכזיים ל-leakage. הראשון הוא פיקוח חלש מדי על המושגים: כשמשקל הלמידה של המושגים קטן, המודל מעדיף לשפר את ביצועי המשימה על חשבון נאמנות למושגים. השני הוא ייצוג מושגים אקספרסיבי מדי, למשל logits או וקטורים כאשר המושגים עצמם בינאריים; במקרה כזה המודל מנצל את העודף כדי לאחסן מידע נוסף. השלישי הוא סט מושגים חסר, כלומר מצב שבו המושגים המוצהרים אינם מסבירים מספיק את המשימה ולכן המודל “מייצר” מידע חסר בתוך הייצוג. הרביעי הוא ראש סיווג לא-מתאים, למשל ראש ליניארי למשימה לא-ליניארית, שמוביל את המודל להכניס את יחסי התלות לתוך המושגים עצמם.

ניתוח CEMs

המחקר מראה כי CEMs אכן משיגים ברוב המקרים יותר דיוק, אך זה קורה משום שהם נושאים concepts-task leakage מובנה: המושגים הווקטוריים עצמם מקודדים מידע מעבר למושג המקורי. בנוסף, נמצא interconcept leakage משמעותי, שלעתים אף גדל כאשר מגבירים פיקוח על המושגים. זהו ממצא חשוב משום שהוא סותר אינטואיציה נפוצה שלפיה יותר supervision בהכרח מוביל ליותר interpretability. המחברים מציגים גם alignment leakage, צורה עדינה של leakage שנוצרת כאשר המודל נחשף להתערבויות בזמן האימון. במצב זה, ייצוגים “מיושרים” עם האמת יכולים להיות אינפורמטיביים יותר לגבי המשימה מאשר ייצוגים לא-מיושרים, כך שהתערבות משפרת ביצועים גם בגלל בחירת embedding טוב יותר ולא רק בגלל תיקון המושג.

מסקנות והמלצות מעשיות

המסר המעשי של המאמר הוא שמודלים מבוססי-מושגים אינם בהכרח interpretable רק משום שהם מציגים מושגים גלויים. כדי לבנות מודל אמין צריך למדוד leakage באופן שיטתי, להעריך את שלמות סט המושגים, לבחור רמת פיקוח מתאימה, ולהימנע מייצוגים אקספרסיביים מדי ביחס למושגים המוצהרים. כאשר סט המושגים אינו שלם או שהמשימה מורכבת מדי עבור ראש פשוט, יש לצפות ל-leakage או לשקול האם בכלל מתאים להשתמש בגישה מבוססת-מושגים. לכן, CTL ו-ICL מוצגים לא רק ככלי מחקרי אלא גם ככלי הנדסי לתכנון, כיוון וכיול של מודלים פרשניים, במיוחד בתחומים עתירי סיכון.

תרומה רחבה לתחום

מעבר לתוצאות הספציפיות, המאמר מנסח עמדה ברורה: interpretability במודלים מבוססי-מושגים חייבת להיבחן דרך נאמנות סמנטית ולא רק דרך נוחות ההצגה של מושגים. גישה זו מחזקת את הביקורת על מודלים שנראים שקופים אך בפועל מנצלים מידע חבוי. עבור קהילת ה-XAI, העבודה מספקת שפה משותפת, כלים כמותיים, והבחנה חדה בין יכולת חיזוי לבין הסבר מהימן. זהו צעד חשוב לקראת פיתוח מודלים שניתן לסמוך עליהם בסביבות קליניות, רגולטוריות ותעשייתיות.

היילייטס

  • הוגדרו שני מדדים חדשים ומבוססי-מידע: CTL ל-leakage מהמשימה למושגים, ו-ICL ל-leakage בין מושגים.
  • המדדים החדשים מתואמים חזק יותר עם ביצועים תחת התערבות מאשר מדדים קודמים כמו OIS ו-NIS.
  • זוהו גורמים מרכזיים ל-leakage: ייצוג מושגים עשיר מדי, סט מושגים לא שלם, וראש סיווג לא-מתאים.
  • הוצג ניתוח מקיף של CEMs שמראה שהם נושאים leakage מובנה, כולל alignment leakage.
  • המאמר מספק הנחיות מעשיות לתכנון מודלים מבוססי-מושגים אמינים יותר ביישומים רגישים.

שאלות נפוצות

מה ההשפעה של leakage (דליפה) במודלים מבוססי-מושגים על יישומים רגישים כמו רפואה וכיצד המחקר הזה משנה את הדרך להעריך אותם?

Leakage מפחית את היכולת לפרש ולהתערב בהחלטות המודל: גם אם מודל בעל מושגים גלויים נראה שקוף, הוא עלול להשתמש במידע נסתר בתוך הייצוגים וכך לפגוע בבטיחות וביכולת תיקון אנושי. המחקר מציע מדדים כמותיים (CTL ו‑ICL) שמגלים מתי הדייקנות מגיעה על חשבון נאמנות סמנטית, וממליץ למדוד leakage שיטתית לפני שימוש ביישומים רגישים — למשל לבצע בדיקות התערבות (החלפת מושגים חזויים בערכי אמת) ולתעד האם ביצועים משתפרים בגלל תיקון טעויות או בגלל שהייצוגים אוחסנו מידע נסתר.

מה הם CTL ו‑ICL — איך הם מוגדרים ובאיזה אופן הם עוזרים להעריך interpretability?

CTL (Concepts-Task Leakage) מודד, לכל מושג, עד כמה הייצוג הנלמד מכיל מידע על התווית (המשימה) מעבר למה שמכיל מושג האמת. באופן פורמלי הוא מוכפל כנפרש לא-שלילי של ההפרש בין מידע מנורמל של המושג הנלמד על התווית לבין זה של המושג האמיתי. ICL (Interconcept Leakage) מודד כמה מושג נושא מידע עודף על מושג אחר מעבר למבנה הקשרים האמיתי ביניהם — גם הוא מנורמל כך שניתן להשוות בין מושגים. שניהם ניבו בהתנסויות מעשיות את התנהגות המודל תחת התערבויות טוב יותר ממדדים קיימים (OIS, NIS) ומשמשים ככלים להשוואת מודלים וכיול.

למה Concept Embedding Models (CEMs) נוטים ל‑leakage ומה זה alignment leakage שהמחקר מתאר?

CEMs משתמשים בייצוגים וקטוריים עשירים לכל מושג, מה שמגדיל את היכולת של המודל לאגור מידע נוסף בתוך ה־embeddings. המחקר מראה שזו סיבת leakage מובנה: ציוני דיוק גבוהים של CEMs לעיתים נובעים מהעשרה של המושגים במידע של המשימה ולא מהאימון על המושג עצמו. alignment leakage מתייחס לתופעה שבה חשיפה להתערבויות בזמן האימון גורמת לייצוגים "מיושרים" עם ערכי האמת כך שהם נעשים אינפורמטיביים יותר לגבי המשימה — כלומר, שיפור בביצוע תחת התערבות יכול לנבוע לא רק מתיקון ערכים שגויים אלא גם מבחירת embedding שמטבעו מכיל מידע משימה.

מהם המקורות המרכזיים ל‑leakage וכיצד ניתן להפחית אותם בעיצוב מודל מבוסס‑מושגים?

המחקר מצביע על ארבעה גורמי מפתח:

  1. פיקוח חלש מדי על המושגים — להפחית על‑ידי הגדלת משקל הפיקוח או איסוף תוויות מושג איכותיות.
  2. ייצוג מושגים אקספרסיבי מדי (למשל logits או וקטורים במקום בינארי) — להפחית על‑ידי הגבלת מורכבות הייצוג או שימוש בייצוגים בעלי קיבולת תואמת למושג.
  3. סט מושגים חסר — להשלים את סט המושגים או לשקול שלא להשתמש בגישת מושגים אם המושגים לא מכסים את המשימה.
  4. ראש סיווג לא‑מתאים (ליניארי למשימה לא ליניארית) — לבחור ראש מתאים או לשנות ארכיטקטורה כדי שלא להעמיס יחסי תלות לכדי leakage. מכיוון שחלק מהשינויים אלה משפיעים על דיוק, החוקרים ממליצים להשתמש ב‑CTL/ICL כדי לאזן בין דיוק לפרשנות.

כיצד להשתמש בפרקטיקה ב‑CTL ו‑ICL כדי לבחור ארכיטקטורה, לכייל היפרפרמטרים ולהחליט על תכנון מושגים?

המלצות הנדסיות מהממצאים:

  • חשבו CTL ו‑ICL לכל מושג ולזוגות מושגים לאחר אימון מודלים חלופיים (CBM/CEM, רמות פיקוח שונות, סוגי ראשי סיווג).
  • השתמשו במדדים כחלק מתהליך הבחירה: השוו מודלים עם דיוק דומה לפי CTL/ICL כדי לזהות מודל בעל פרשנות אמיתית יותר.
  • כיילו היפרפרמטרים (עוצמת פיקוח, קיבולת הייצוג, סוג ראש) תוך מעקב על CTL/ICL כדי לאתר את נקודת הטרייד‑אוף בין דיוק ל‑interpretability.
  • ערכו מבחני התערבות (החלפת חזויים בערכי אמת) ובדקו האם השיפור בביצועים מובהק ונובע מתיקון טעויות או מ‑leakage; CTL/ICL ניבו טוב יותר את התנהגות זו מאשר מדדים ישנים.
  • לפני פריסה ביישום רגיש, דרשו מדידה שיטתית של leakage וסקירה של שלמות סט המושגים והרלוונטיות של ראש הסיווג.

מחקרים קשורים