ייצוגים קונטרסטיביים של טיפולים מובנים

המחקר רלוונטי במיוחד למקומות שבהם החלטות עסקיות נשענות על אובייקטים מורכבים ולא על משתנים פשוטים. למשל, בטקסט של ביקורת מוצר, במאפייני מוצר באתר מסחר, או במבנה של מולקולה בתהליך גילוי תרופות. הבעיה היא שמודלים עלולים ללמוד קשרים "לא נכונים"—כמו סגנון כתיבה, פופולריות או מאפיינים נלווים—במקום את הגורמים שבאמת משפיעים על התוצאה העסקית. השיטה שמוצעת כאן עוזרת לבודד מתוך האובייקט המורכב את המרכיבים שבאמת גורמים לשינוי בתוצאה, וכך לקבל הערכות סיבתיות אמינות יותר. עבור מנהלים, המשמעות היא שיפור בהחלטות כמו המלצות מוצרים, תעדוף קמפיינים, ניתוח השפעת ביקורות, ואפילו זיהוי מאפייני תרופות אפקטיביים. במקום להסתמך על קורלציות מטעות, ניתן לבנות מערכות שמבינות טוב יותר מה באמת מניע תוצאות.

מבוא

המאמר עוסק באמידת השפעות סיבתיות כאשר הטיפול אינו בינארי או רציף פשוט, אלא אובייקט מובנה ורב-ממדי, כגון טקסט, אודיו, וידאו, גרף או מוצר בקטלוג. במצבים כאלה, הטיפול הנצפה הוא לעיתים רק פרוקסי למשתנים חבויים עמוקים יותר. חלק מהלטנטים הללו סיבתיים באמת עבור התוצאה, ואחרים אינם סיבתיים אך עדיין משתקפים באובייקט. המחברים טוענים כי שימוש עיוור במבנה המלא של הטיפול יכול להכניס הטיה לאמידה הסיבתית, משום שמאפיינים לא-סיבתיים עשויים להיות מתואמים עם משתני ערבוב.

המאמר נותן דוגמאות אינטואיטיביות: טקסט של ביקורת מוצר שבו הטון הוא הגורם הסיבתי למכירות אך סגנון הכתיבה אינו כזה; או מערכת המלצות למוצרים, שבה ייצוגי מוצרים שנלמדו מקו-אוקורנס כוללים גם מידע שאינו סיבתי אך מתואם עם הצלחה מסחרית. מכאן נולדת המטרה: ללמוד ייצוג של טיפול מובנה שישמור רק את הגורמים הסיבתיים הרלוונטיים.

המסגרת הסיבתית והגדרת הבעיה

המחברים עובדים במסגרת Structural Causal Models של Pearl. הם מגדירים משתני ערבוב נצפים X, רכיבים לטנטיים סיבתיים של הטיפול TC, רכיבים לא-סיבתיים TnC, והטיפול הנצפה T שהוא פונקציה מעורבת של שניהם: T = m(TC, TnC). התוצאה Y תלויה רק ב-TC וב-X, ולא ב-TnC.

הכמות המרכזית הנחקרת היא CATE — האפקט הטיפולי הממוצע המותנה, כלומר ההבדל בתוחלת התוצאה בין שני טיפולים עבור ערך נתון של הקו-וריאטים. המאמר מראה כי כאשר משתמשים ישירות ב-T לצורך back-door adjustment, ייתכן אומדן מוטה, אפילו אם כל המשתנים המבלבלים X נמדדו. הסיבה היא שהחלקים הלא-סיבתיים של T יכולים לשמש פרוקסי ל-X, ולכן המודל עלול לייחס להם השפעה סיבתית שאינה אמיתית.

תוצאה תיאורטית מרכזית

במשפט הראשון המחברים בונים דוגמה קונסטרוקטיבית שבה רגרסיה של Y על T ו-X מובילה לפתרון שמתאים לציפייה המותנית, אך נכשל תחת התערבות ב-TnC. כלומר, ברגע שמשנים רק את הרכיב הלא-סיבתי של הטיפול, המודל מנבא אפקט שאינו אמור להתקיים. זה מוכיח שאמידה סיבתית ישירה על T עלולה להיות מוטה.

במשפט השני הם מראים תנאי הכרחי ומספיק: אמידת אפקט סיבתי תהיה בלתי מוטה אם ורק אם משתמשים בייצוג ψ(T) שאינו מכיל שום מידע על הרכיבים הלא-סיבתיים TnC. במילים אחרות, כדי לקבל CATE נכון, הייצוג של הטיפול חייב להיות למעשה פרמטריזציה מחדש של הרכיב הסיבתי בלבד.

האלגוריתם הקונטרסטיבי

כדי ללמוד ייצוג כזה, המחברים מציעים אלגוריתם קונטרסטיבי. האינטואיציה היא שאם לשתי דגימות יש אותם X ו-Y, אך טיפולים שונים T ו-T', אז הרכיב הסיבתי שלהן חייב להיות זהה, ולכן ההבדל ביניהן נובע מרכיבים לא-סיבתיים. זוגות כאלה ישמשו כזוגות חיוביים שיש לקרב בייצוג. לעומת זאת, דגימות עם X דומה אך Y שונה מעידות על TC שונה, ולכן משמשות כזוגות שליליים שיש להרחיק.

המאמר מוכיח במשפט השלישי, תחת הנחות של חלקות והפיכות של הפונקציות היוצרות את הנתונים, שהגישה הקונטרסטיבית מזהה את הלטנטים הסיבתיים ומבודדת אותם. בפועל, כשאין שוויון מדויק בין X ו-Y, מציעים להשתמש בספי קרבה δ ו-ϵ, או בייצוג נמוך-ממד של X לצורך בניית זוגות קרובים.

מערכי הנתונים וההגדרות הניסיוניות

הניסויים בוצעו על שלושה סטים:

• Synthetic: 1,000 דגימות, חלוקה של 70% אימון ו-30% הערכה. לטיפול 10 ממדים: 5 סיבתיים ו-5 לא-סיבתיים, כולם בקורלציה גבוהה עם הקו-וריאטים. התוצאה נקבעת סיבתית מהקו-וריאטים, מהרכיב הסיבתי ומרעש.
• Molecule: 5,000 דגימות, 8 ממדים סיבתיים ו-8 לא-סיבתיים.
• Coat recommender: 10,000 דגימות, 33 ממדים סיבתיים ו-8 לא-סיבתיים שנוספו באופן מלאכותי כך שיהיו מתואמים עם הקו-וריאטים.

המודל הבסיסי הוא CATE קלאסי. הגרסה המוצעת מוסיפה אליו הפסד קונטרסטיבי מסוג Triplet loss. נעשתה השוואה לשני בסיסים: אותו מודל CATE ללא הרכיב הקונטרסטיבי, ו-Structured Intervention Networks ‏(SIN). בבסיסי הניסוי השתמשו ב-Adam עם קצב למידה 1e-4, Huber loss, וארכיטקטורות MLP. משקל ה-Triplet loss היה 0.1 על Synthetic ו-1 על שני הסטים האחרים; ה-margin היה 30 ו-100 בהתאמה.

מדדי הערכה

כדי לבדוק שגם ללא הפרעות המודלים לומדים את הבעיה, דווחו MAE ו-RMSE. אך המדד המרכזי הוא PEHE, שבודק את ה-RMSE בין האפקטים המנובאים והאמיתיים. כאן PEHE שימש במיוחד לבחינת עמידות לשינויים ברכיבים הלא-סיבתיים: אם שני טיפולים נבדלים רק ב-TnC, מודל אידיאלי צריך להחזיר אפקט אפסי או קרוב לכך.

תוצאות: שגיאה בלתי-פריקה

בניסוי הראשון על הדאטה הסינתטי הוסיפו רעש לתוצאה לפני האימון, עם סטיית תקן שעלתה ליניארית מ-0.0 עד 1.0 בקפיצות של 0.1. המטרה הייתה לבדוק האם המודל נשאר חסין למידע לא-סיבתי גם כשיש אי-ודאות שאינה ניתנת להסרה.

לפי Figure 3 ו-Table 1, כל המודלים הצליחו יחסית במשימת החיזוי עצמה, אך רק המודל הקונטרסטיבי הצליח לשמור על PEHE נמוך משמעותית תחת שינוי ב-TnC. כלומר, גם כששינו רק את החלק הלא-סיבתי של הטיפול, התחזית שלו כמעט לא השתנתה, בעוד CATE רגיל ו-SIN ייחסו לרכיב הזה השפעה שגויה. המחברים מציינים שגם לאחר חיפוש היפר-פרמטרים נרחב, SIN לא השיג ביצועים דומים במונחי חסינות.

בנוסף, Table 2 מראה יתרון חישובי: השיטה הקונטרסטיבית הייתה יעילה יותר מ-SIN, בעיקר כי SIN משתמש באופטימיזציה מתחלפת ובמדדים מבוססי kernel כמו HSIC, שיקרים יותר חישובית. לעומת זאת, ההפסד הקונטרסטיבי פשוט ותואם backpropagation רגיל.

תוצאות: שגיאה פריקה

בניסוי השני, על Molecule ו-Coat recommender, בחנו מצב שבו הבעיה מורכבת יותר והקושי נובע יותר ממגבלות הלמידה של המודל ופחות מחוסר מידע. כאן הוסיפו רעש לרכיבים הלא-סיבתיים בזמן הבדיקה, כדי לבדוק האם המודל מתעלם מהם.

לפי Figure 4 ו-Table 3, שוב כל המודלים נתנו רמת חיזוי כללית טובה, אך רק הגישה הקונטרסטיבית שמרה על PEHE נמוך ועל יציבות אפקטים תחת שינויים ב-TnC. המשמעות היא שהמודל אכן לומד ייצוג סיבתי יותר של הטיפול, ולא רק משפר התאמה ניבויית כללית.

Figure 5 מציג ניתוח רגישות להיפר-פרמטרים δ ו-ϵ ומראה שהביצועים של השיטה נשארים יציבים יחסית על פני טווח רחב של ערכים, מה שמחזק את הטענה שהשיטה אינה שבירה במיוחד לבחירות פרקטיות.

דיון ומסקנות

המאמר מציג תרומה משולבת: גם מסגרת תיאורטית ברורה וגם אימות אמפירי. המסר המרכזי הוא שבטיפולים מובנים ורב-ממדיים לא מספיק להשתמש בייצוג המלא של הטיפול. צריך ללמוד ייצוג שמסנן החוצה מידע לא-סיבתי. המחברים טוענים ומראים שהשיטה הקונטרסטיבית עושה זאת, ובכך מאפשרת אמידת אפקט סיבתי בלתי מוטה יותר.

השלכות היישום רחבות: מערכות המלצה, ניתוח טקסטים, גילוי תרופות, ומצבים נוספים שבהם הטיפול הוא אובייקט מורכב. מעבר לכך, המאמר מציע ביקורת עקיפה על שיטות קודמות בתחום, במיוחד על SIN, ומראה שביצועי חיזוי טובים לבדם אינם עדות לאמידה סיבתית נכונה. התרומה החשובה היא ההבחנה בין מידע סיבתי למידע קורלטיבי בתוך ייצוגי טיפול מורכבים, והצעת מנגנון פרקטי ותיאורטי כאחד לטיפול בכך.