שיפור ההסבריות של רשתות נוירונים גרפיות (GNNs) באמצעות ניתוחים מושגיים (קונספטואליים) ומבניים והרחבותיהם

המחקר רלוונטי לכל ארגון שעושה שימוש במודלים של למידת מכונה על נתוני גרפים – למשל ברשתות חברתיות, פיננסים, בריאות, תחבורה או מערכות המלצה – ורוצה להבין ולבקר את החלטות המערכת. הוא מסביר כיצד ניתן לפרש מודלי GNN לא רק דרך "אילו קשתות או צמתים הובילו לתוצאה", אלא גם דרך קונספטים גבוהים יותר (למשל: קהילה הדוקה ברשת חברתית, מודול פונקציונלי בגרף ביולוגי או דפוס עסקאות חשוד בבנק). הבנה כזו מאפשרת:

1. שיפור אמון משתמשים ורגולטורים, באמצעות הסברים עקביים וברורים.
2. איתור הטיות, באגים או שימוש שגוי בנתונים – לפני פריסה נרחבת.
3. עיצוב מוצרים ויכולות אנליטיות שמייצרות תובנות עסקיות ניתנות לפעולה, במקום "קופסאות שחורות".
4. כיווני פיתוח לכלים ומסגרות XAI מותאמות־דומיין ליישומים על גרפים (פיננסים, בריאות, טלקום ועוד).

מבוא

המאמר עוסק בגרף ניורל נטוורקס (Graph Neural Networks – GNNs) ובאתגר ההולך וגובר של הפיכתן למובנות וברת־הסבר. GNNs משמשות במגוון רחב של תחומים – החל מניתוח רשתות חברתיות וגרפי ידע, דרך כימיה וביולוגיה (מולקולות, רשתות גנים וחלבונים), ועד מערכות המלצה ותנועות כספיות. הצלחתן המעשית מלווה בדאגה הולכת וגוברת סביב שקיפות, הוגנות ובקרה רגולטורית.

המחבר מזהה פער מהותי: בעוד שמודלים אלו מנצלים היטב את מבנה הגרף, מרבית השיטות המסבירות אותם אינן מצליחות לחלץ הסברים ברמת קונספטים אינטואיטיביים לבני אדם. במקום זאת, הן מייצרות תתי־גרפים או מסכות על קשתות וצמתים, שלעיתים קרובות אינם תואמים את מושגי הדומיין המקצועי.

המאמר מציע מיפוי שיטתי של שיטות להסברת GNNs לשתי קטגוריות עיקריות:

1. הסברים מבוססי־מבנה – זיהוי רכיבי גרף (צמתים/קשתות/תתי־גרפים) המשפיעים על התחזית.
2. הסברים מבוססי־קונספטים – זיהוי תבניות או מאפיינים מופשטים יותר (community, motif, functional module) המאורגנים מעל המבנה הגולמי.

העבודה מדגישה את הקשר בין מורכבות אלגוריתמית של GNNs לבין הקושי להגדיר הסברים יציבים, ומעלה צורך במסגרת XAI ייעודית לעולם הגרפים.

רקע: GNNs והצורך במסבירנות

GNNs מרחיבות רשתות ניורונים סטנדרטיות לעבודה על גרפים באמצעות מנגנוני message passing ו־aggregation המאפשרים לכל צומת לעדכן את הייצוג שלו על בסיס השכנים. מודלים מודרניים כוללים מספר שכבות, מסוגלים ללכוד דפוסי תלות מורכבים בטופולוגיית הגרף, ולעיתים משולבים עם מנגנוני קשב (attention) או pooling היררכי.

החוזקה הזאת מביאה למספר בעיות הסבר:

• השפעת צומת בודד תלויה ברשת שלמה של אינטראקציות.
• הקשרים בין תכונות לצמתים מרובים (high-order interactions) הופכים את "השמת האצבע" על גורם יחיד לבלתי־טריוויאלית.
• במקרים רבים, מה שמעניין את מומחה הדומיין אינו צומת בודד, אלא תבניות כמו motif, קהילה, או תפקיד ברשת.

המחבר מדגיש ש־post-hoc XAI (הסברים אחרי האימון) שפותחו עבור מודלים על טקסט או תמונה לא תמיד מתאימים למבנה הגרפי, ושנדרש דיון ייעודי להגדרת מהו הסבר "טוב" ל־GNN.

מסגרות קיימות ל־XAI ב־GNNs

1. שיטות מבוססות־מבנה (Structural Explanations)

שיטות אלה מאתרות תת־קבוצה של צמתים/קשתות/תתי־גרפים שאמורה להסביר את תחזית המודל.

• GNNExplainer – אחת השיטות המוקדמות והמשפיעות. היא מגדירה בעיית אופטימיזציה: מציאת מסכה על קשתות ותכונות שמקסימלית שומרת על תחזית המודל המקורית, תחת אילוצי דלילות (sparsity). התוצאה היא תת־גרף קטן שנחשב "הסבר".

  • חסרונות: רגישות לרעש, חוסר יציבות (שינויים קטנים בגרף או בזרע האקראי גורמים להסברים שונים), והעדר קישור ישיר לקונספטי דומיין.

• שיטות מבוססות sampling/perturbation – מחיקות או שינויים הדרגתיים בקשתות/צמתים ובחינת השפעתם על התחזית. דוגמאות כוללות מסגרות המתייחסות לערך שאפלי (Shapley value) על צמתים או קשתות.

  • יתרון: בסיס תאורטי מוצק (משחקי שיתוף פעולה).
  • חיסרון: עלות חישובית גבוהה בגרפים גדולים, וקושי לייצר תבנית אינטואיטיבית אחת מהערכים המספריים.

• שיטות מבוססות־attention – שימוש במשקלי קשב (אם קיימים במודל) כסימן לחשיבות קשתות/שכנים.

  • בעיה ידועה: attention ≠ explanation; ניתן לבנות מודלים עם ביצועים זהים אך דפוסי קשב שונים, ולכן הקשר בין משקל קשב להסבר סיבתי אינו מובטח.

2. שיטות מבוססות־קונספט (Concept-based Explanations)

מסגרת זו שואפת לייצר הסברים ברמת קונספטים מוגדרים (ידנית או אוטומטית): למשל, "קהילה צפופה", "מסלול ביוכימי מסוים", "תבנית כימית".

• השראה מ־TCAV בעולם הראייה הממוחשבת: שם מגדירים קונספטים באמצעות דוגמאות חיוביות/שליליות, ומודדים השפעתם על הפלט. המחבר דן בבעייתיות של הרחבת הגישה לגרפים: הקונספט הוא גם פונקציה של הטופולוגיה וגם של התכונות, והגדרה ידנית של קונספטים בגרפים היא מורכבת.

• Concept Bottlenecks / Concept GNNs – ארכיטקטורות שבהן שכבת ביניים מייצגת סט קונספטים מפורשים (נלמדים או מתווּגים) המשמשים בסיס להחלטה הסופית.

  • יתרון: מאפשרות בדיקת עקביות בין אינטואיציית הדומיין לבין הנאיביות של המודל.
  • חיסרון: דורש תיוג קונספטים או הגדרת מרחב קונספטים מראש; עלול לפגוע בביצועים אם הקונספטים אינם מספיקים.

המאמר טוען שהכיוון הקונספטואלי הכרחי אם רוצים הסברים שימושיים למומחים (רופאים, ביולוגים, אנליסטים פיננסיים), אך צריך מסגרות פורמליות יותר להגדרה ולמדידה של קונספטים על גרפים.

אתגרים מרכזיים בהסברת GNNs

המחבר מנסח מספר אתגרים תאורטיים ומעשיים:

1. יציבות ורובסטיות – האם הסבר משתנה באופן דרסטי לשינוים זעירים בקלט או בפרמטרים? חוסר יציבות מקשה על אמון משתמשים.
2. סיבתיות מול קורלציה – רוב השיטות פוסט־הוק הן למעשה קורלטיביות. להסבר סיבתי נדרש להגדיר התערבויות קונטרה־פקטואליות ("מה היה קורה אילו"), מה שמאתגר במיוחד בגרפים מורכבים.
3. סקלאביליות – עלות חישובית של שיטות הסבר עולה לרוב פולינומית או אקספוננציאלית עם מספר הצמתים/קשתות. מנגנוני קירוב נחוצים ליישומים תעשייתיים.
4. יישור עם דומיין־נולדג' – הסבר טוב חייב להתיישר עם הדרך שבה מומחים חושבים על הבעיה. תת־גרף אקראי אינו הסבר טוב, גם אם הוא "שומר על התחזית".

מסגרת מוצעת: שילוב ניתוח מבני וקונספטואלי

המאמר מציע לראות הסברים ל־GNNs כמשלבים שני ממדים:

• ממד מבני (Structural) – אילו חלקים בגרף (צמתים/קשתות/תתי־גרף) מופעלים, נבחרים או ממוּסכים על־ידי המודל בזמן קבלת החלטה.
• ממד קונספטואלי (Conceptual) – אילו תבניות מופשטות או מאפיינים ברמת דומיין (community, path motif, function module) משתקפים בהפעלה זו.

במסגרת זו, תהליך XAI עבור GNN יכול להיות:

1. זיהוי תת־גרף חשוב (באמצעות GNNExplainer, שאפלי, attention וכו').
2. התאמה של תת־הגרף לקונספטים מאגר ידע מוגדר (למשל, זיהוי community באמצעות אלגוריתמים של גילוי קהילות, או זיהוי motif בביולוגיה).
3. תרגום למונחי דומיין: "המודל נשען בעיקר על קהילה X המחוברת בצורה צפופה סביב צומת Y, הידועה מהספרות כמודול Z".

המחבר מדגיש כי שילוב שכבה קונספטואלית (למשל באמצעות bottleneck) כבר בשלבי האימון יכול להקל על שלב 2 ולהוביל למודלים שהם אינטרפרטביליים "מבפנים".

ביקורת על גישות פוסט־הוק בלבד

המאמר טוען שבמקרים רבים, גישות פוסט־הוק להסבר GNNs הן מאוחרות מדי ולא מחייבות את המודל ללמוד ייצוגים אינטרפרטביליים מלכתחילה. הוא מבחין בין:

• הסבר פנימי (Intrinsic) – הארכיטקטורה עצמה בנויה כך שחלקים ממנה הם בעלי משמעות אנושית (קונספטים, מודולים זוהי).
• הסבר חיצוני (Post-hoc) – כלי נפרד המנסה לפרש את מה שמודל קיים עושה.

המחבר טוען שהסתמכות בלעדית על Post-hoc מסוכנת: ניתן "להתאים" הסבר כמעט לכל התנהגות, בלי להבטיח שההסבר אכן משקף את סיבתיות המודל. לפיכך, מומלץ:

• לתכנן GNNs עם מבנים אינטרפרטביליים היכן שניתן (לדוגמה, pooling היררכי התואם ליחידות ביולוגיות ידועות).
• להשתמש בכלי Post-hoc כהשלמה – לבדיקת נאותות, ביקורת, והגברת אמון, ולא ככלי יחיד.

השלכות יישומיות

המאמר מדגיש מספר השלכות לתעשייה וליישומים מעשיים:

• ביישומים רגישים (בריאות, פיננסים, תחבורה אוטונומית), לא ניתן להסתפק בתחזיות – נדרשות הסברים שמתיישרים עם הגדרות רגולטוריות ומוסריות.
• שיטות XAI ל־GNNs יכולות לשמש ככלי תיעוד: מציגות למשתמש אילו חלקים ברשת (למשל, קהילות של לקוחות או תתי־גרף גנטיים) הניעו את ההחלטה.
• מסגרות המשלבות קונספטים יכולות לחשוף תובנות חדשות על מבנה מערכת (למשל, מודולים ביולוגיים שלא היו ידועים, או קהילות חשודות ברשת עסקאות).

כיווני מחקר עתידיים

המחבר מסכם ומציע מספר כיוונים עיקריים:

1. הגדרה פורמלית של קונספט גרפי – כיצד להגדיר, לייצג וללמוד קונספטים בגרפים באופן כללי, כולל מדדים לאיכותם (coherence, completeness).
2. שילוב XAI בארכיטקטורה – פיתוח GNNs עם שכבות קונספט, מודולים היררכיים, או מגבלות מבניות המבטיחות אינטרפרטביליות.
3. הערכת הסברים – בניית בנצ'מרקים ל־GNN XAI, כולל גרפים סינתטיים עם "אמת מידה" (ground truth explanation) ונתוני דומיין עם אנוטציות אנושיות.
4. כלים למשתמשי קצה – מערכות אינטראקטיביות המאפשרות למומחים לשאול "מה־אם" (counterfactuals), לשנות חלקים בגרף ולראות את השפעתם על ההחלטה.
5. קישור לסיבתיות – שילוב רעיונות מעולם הסיבתיות (causal graphs, interventions) לשיפור עומק ההסבר שניתן להפיק מ־GNNs.

סיכום

המאמר ממקם את תחום ה־Explainability ל־GNNs בשלב מעבר: קיימות כבר מספר שיטות מבוססות־מבנה בעלות הצלחה חלקית, אך עדיין חסרה מסגרת אחידה שתקשר בין אלה לבין קונספטים דומייניים וסיבתיים. המחבר טוען כי העתיד טמון בשילוב בין עיצוב מודלים אינטרפרטביליים לבין כלים פוסט־הוק, ובהגדרה מחודשת של מהו "הסבר טוב" בגרפים – כזה שמשרת הן את הצורך התאורטי (נאמנות למודל) והן את הצורך המעשי (הבנה אנושית, בקרה ואתיקה).