ראיות לפני הסברים: להעמיד את הבינה המלאכותית הרפואית במבחן

המחקר רלוונטי במיוחד למנהלי בתי חולים, קובעי מדיניות, רגולטורים וחברות HealthTech. הוא מציע דרך מעשית להחליט מתי אפשר לסמוך על מערכת AI רפואית: לא לפי הדגמות יפות או "הסברים" חזותיים, אלא לפי סט בדיקות מוגדר מראש שמוודא שהמערכת באמת עובדת על האותות הנכונים ושומרת על ביצועים גם כשמחליפים אתר, מכשיר, אוכלוסייה או זרימת עבודה. מבחינה עסקית, זהו בסיס לתהליך הטמעה אחראי שמקטין סיכון רגולטורי, סיכון קליני ופגיעה במוניטין. עבור ארגוני בריאות, המשמעות היא בניית תהליך תפעולי מסודר של פיתוח, ולידציה, ניטור ונסיגה לאחור במקרה של ירידה בביצועים. עבור חברות המפתחות AI רפואי ו-LLMs קליניים, המסגרת מספקת שפה ברורה להוכחת אמינות המוצר מול לקוחות, ועדות אתיקה ורגולטורים, ובכך יכולה לשפר אימוץ, בטיחות ויכולת סקיילינג בין מוסדות.

רקע והבעיה המרכזית

המאמר הוא מאמר דעה/מסגרת מושגית העוסק בפער בין האופן שבו רפואה מסיקה מסקנות אמינות לבין האופן שבו מערכות AI מודרניות נבנות ומאומנות. ברפואה, ידע מתקדם דרך שלבים מפורשים של השיטה המדעית: ניסוח שאלה, השערה, תכנון ניסוי, ניתוח תוצאות ודיווח זהיר על המסקנות. לעומת זאת, AI רפואי מודרני — במודלי הדמיה, חיזוי קליני, תומכי החלטה וגם מערכות גנרטיביות כמו LLMs — נוטה לדחוס את התהליך הזה לאופטימיזציה מקצה לקצה, ולאחר מכן להציע "הסברים" בדיעבד. הכותבים מגדירים מצב זה כ"פער אפיסטמי": פער בין מה שהמערכת עושה בפועל לבין מה שאנו יכולים להצדיק מדעית לגבי הסיבה שהיא עובדת, עבור מי, ובאילו תנאים.

פרשנות מול הסבר: למה XAI אינו מספיק

המחברים מבדילים בין שני מושגים: פרשנות אינהרנטית (intrinsic interpretability), שבה לוגיקת ההחלטה שקופה כבר בתכנון המודל, לבין הסבר פוסט-הוק (post-hoc explainability), שבו מפיקים בדיעבד אובייקטים הסבריים כמו מפות סליינסי, ייחוס תכונות, דוגמאות נגדיות ומודלים תחליפיים. לטענתם, הביקורת על XAI, ובמיוחד בבריאות, כבר מבוססת היטב: שיטות פופולריות עלולות להיכשל בבדיקות sanity בסיסיות, להשתנות בעקבות perturbations קטנים, או להישאר דומות גם כשהמודל עצמו מרונדן. בתחום הממוגרפיה, הערכות כמותיות הראו שמפות סליינסי אינן עקביות ולעיתים אינן מכוילות היטב לאזורים הקליניים החשובים באמת. לכן, הסברים אינם פסולים עקרונית, אך הם אינם יכולים לשמש ערובה מספקת לבטיחות, לתוקף קליני או לעמידות.

מה כן צריך להבטיח: התאמה סיבתית ואינווריאנטיות

המאמר מציע להעביר את מרכז הכובד מ"הסבר" ל"בדיקות". ברפואה, הדבר החשוב אינו בהכרח גישה אינטרוספקטיבית למצבי המודל הפנימיים, אלא ביסוס אמפירי לכך שהפלטים שלו נשענים על אותות משמעותיים ושישמרו אמינים גם כאשר הסביבה משתנה. הכותבים מציינים שתי דרישות יסוד:

התאמה סיבתית

השאלה כאן היא האם התחזיות מונעות על ידי תכונות שקשורות באופן סביר לביולוגיית המחלה או למתווכים קליניים רלוונטיים. בדימות רפואי, המשמעות היא להבחין בין מודל הנשען על מורפולוגיית נגע או טקסטורת רקמה לבין מודל שמזהה לוגו של סורק, מסגרת תמונה, סמן כיוון או חתימה אתרית. המאמר מזכיר דוגמאות קלאסיות מהספרות, כגון מודלים לזיהוי דלקת ריאות בצילומי חזה שהשיגו דיוק פנימי גבוה אך קרסו חיצונית משום שניצלו קונפאונדרים של בתי חולים במקום פתולוגיה אמיתית. המחברים מציעים בדיקות בסגנון התערבותי: הסתרה ממוקדת של אזורים, הגבלת ניתוח ל-ROI, הסרת גבולות וסמנים, החלפת רקע/הקשר, ושיבושים שמותירים את הפתולוגיה אבל משנים גורמי nuisance כמו יצרן הסורק, אתר או פרה-פרוססינג. בקרה שלילית נחשבת מרכזית: אם התחזיות משתנות כאשר משנים רק גורמים לא רלוונטיים, המודל אינו מיושר סיבתית.

אינווריאנטיות

כאן בודקים האם ביצועי המודל וההתנהגות הקלינית הרלוונטית נשמרים תחת שינויים סבירים: בין סורקים, פרוטוקולי רכישה, אתרים קליניים ותתי-אוכלוסיות דמוגרפיות. המחברים מדגישים שלמידת קיצורי דרך היא כשל ידוע ברשתות עמוקות: המודל ממקסם ביצועים באימון על בסיס קורלציות שבריריות, אך נכשל תחת היסט התפלגות. בפועל, אינווריאנטיות צריכה להיבדק באמצעות ולידציה חיצונית מרובדת לפי צירים קליניים משמעותיים. חוסר יציבות אינו בהכרח פוסל מיידית את המודל, אך מחייב צמצום היקף השימוש המיועד או תיקון ממוקד כמו אימון מחדש או כיול מחדש.

LLMs כרכיב רפואי: לא להסברים, אלא למבחני עמידות

המאמר מרחיב את אותה לוגיקה גם ל-LLMs גנרטיביים. מערכות אלה עלולות להפיק קביעות בטוחות אך לא נתמכות, להמציא מקורות או עובדות, ולהישבר תחת prompts אדוורסריים. הכותבים מזכירים כי RAG והתנהגות שמרנית של refusal יכולים לצמצם את הבעיה, אך אינם יוצרים הבנה סיבתית. לכן גם כאן יש צורך במבחנים: האם כל המלצה קלינית מבוססת עקבית על ראיות? האם ניתן לגרום למערכת להמציא רפרנסים או התוויות נגד? האם guardrails מחזיקים כאשר משלבים בטקסט טענות נכונות ושגויות? הכותבים מציעים לראות את ההזיות כ"תקציב שגיאה" מנוהל: להגדיר מדדים ספציפיים למשימה כמו fidelity של ציטוטים, שיעור טענות לא נתמכות ו-abstention calibration, ולהציב ספי go/no-go וטריגרים ל-rollback. משימות אדמיניסטרטיביות יכולות לסבול שגיאה גבוהה יותר, אך המלצות קליניות למטופל או לרופא דורשות כמעט אפס סובלנות להמצאת מקורות.

Institutional AI: מסגרת ממשלית מעשית

התרומה המרכזית של המאמר היא הצעת מסגרת בשם Institutional AI — תכנית מוסדית מוטמעת בבית החולים ולא רק מוצר. הרעיון הוא לקרב פיתוח והערכה למקום שבו הטיפול מתרחש בפועל, משום שהנתונים המקומיים משקפים טוב יותר את האוכלוסייה, המכשור, הפרוטוקולים ותרבות הדיווח. עם זאת, המקומיות לבדה אינה פותרת הטיות, ולכן יש לשלב אותה עם ביקורות חיצוניות מרובדות-סביבה.

המסגרת כוללת ארבע אבני יסוד של בדיקות קבלה מתוכננות מראש:

1. השערות מוגדרות מראש על מסלולי המידע והקשר השימוש.
2. נקודות סיום וספי קבלה מוגדרים מראש, כולל discrimination עם אי-ודאות, calibration על תמהיל המקרים המקומי ועל קוהורטים חיצוניים, ואינווריאנטיות בין סורקים/אתרים/תתי-קבוצות.
3. גורמי עקה מוגדרים מראש, כגון ablations, בקרות שליליות ומבחני shift מרובדי-סביבה שמכוונים במפורש למנגנוני shortcut סבירים.
4. כללי go/no-go ו-rollback ברורים לפריסה, עדכון או כיול מחדש.

בנוסף, הכותבים דורשים provenance בר-ביקורת: נתונים, תיוגים, קוד ומשקלי מודל צריכים להיות מנוהלים בגרסאות בלתי ניתנות לשינוי, כך שכל שינוי יקבל מעמד של תיקון פרוטוקול. לאחר הפריסה יש לבצע ניטור drift הן על נתוני הקלט והן על הביצועים ביחס לקווי בסיס שנרשמו מראש, כולל טריגרים לנסיגה לאחור או לכיול מחדש.

קשר לשיטה המדעית, רגולציה ושקיפות

המאמר טוען שהמסגרת הזו מחזירה את הלוגיקה של השיטה המדעית למחזור החיים של AI רפואי. השערות הופכות לטענות מפורשות על מסלולי מידע ואינטראקציה עם קלינאים; ניסויים הופכים להערכות כמותיות והערכת human factors רשומות מראש; מסקנות הופכות לשימושים מיועדים תחומים היטב עם מצבי כשל מוצהרים; ודיווח הופך לפרסום מלא גם של כישלונות, ביצועים חיצוניים ירודים ותוצאות שליליות. הכותבים ממליצים להישען על סטנדרטים מוכרים כגון SPIRIT-AI, CONSORT-AI ו-TRIPOD.

מגבלות, פשרות ומסקנה

זהו אינו מחקר אמפירי, ולא נוצרו או נותחו בו מערכי נתונים. אין בו ניסוי, אוכלוסיית מחקר או תוצאות מספריות מקוריות; הוא מבסס את טענותיו על סינתזה של ספרות קיימת ודוגמאות מהדמיה רפואית ו-LLMs. הכותבים גם מודים בעלויות הגבוהות של תשתיות מוסדיות כאלה: data engineering, MLOps, ביקורת סטטיסטית וממשל, שעלולים להחריף פערים בין מרכזים עתירי משאבים לאחרים. הם מציעים שני פתרונות: שיתוף פרוטוקולים וכלים פתוחים, ותיאום ולידציה מבוזרת בין מרכזים.

בסיכומו של דבר, המסר של המאמר חד: כאשר מודלים אינטרפרטביליים מספיקים, עדיף לבחור בהם. כאשר הם אינם מספיקים מבחינת ביצועים או רוחב שימוש, אפשר להשתמש גם במודלים אטומים — אך רק תחת משטר של testability-first. כלומר, אמון ב-AI רפואי צריך להיבנות על ניסויים שיטתיים, בדיקות קיצור דרך, עמידות תחת shift, ניטור מתמשך וגבולות שימוש ברורים, ולא על "סיפורים" הסבריים שאולי אינם נאמנים למה שהמודל באמת עושה.