גילוי והסקה של קשרים סיבתיים בעולם החבוי באמצעות מודלי שפה גדולים
מאת Chenxi Liu, Yongqiang Chen, Tongliang Liu, Mingming Gong, James Cheng, Bo Han, Kun Zhang · פורסם: · עודכן:
המחקר מציג את COAT, מסגרת המשלבת מודלי שפה גדולים עם אלגוריתמים סטטיסטיים לגילוי סיבתיות מתוך מידע לא־מובנה, כגון טקסט ותמונות. במקום לבקש מהמודל להכריע ישירות מה גורם למה, המערכת משתמשת בו להצעת משתנים משמעותיים ולהפקת ערכיהם מהנתונים. אלגוריתם גילוי סיבתיות בודק את הקשרים ומספק משוב שמכוון את חיפוש המשתנים הבא. שלוש גרסאות מטפלות באיתור קבוצת משתנים המספיקה לחיזוי יעד, בהרחבת גרף כדי לחשוף קשרים וכיוונים נוספים, ובאיתור משתני התאמה לאמידת השפעות טיפול. המחברים מציגים תוצאות תאורטיות המותנות בהנחות על איכות החילוץ והבדיקות, לצד ניסויים סינתטיים, מבחנים המבוססים על נתוני רפואה ושיווק ומקרי בוחן בתמונות מוח, אקלים וחדשות פיננסיות. ברוב ההשוואות, המשוב האיטרטיבי משפר את זיהוי המשתנים והמבנה לעומת הסקה ישירה או תהליך חד־פעמי. עם זאת, חלק ניכר מההערכה נשען על טקסטים סינתטיים, והיישומים המציאותיים אינם מוכיחים שהקשרים שנמצאו נכונים סיבתית.
יישומי המאמר
הגישה יכולה לעזור לארגונים להפוך מידע חופשי, כמו ביקורות לקוחות, מסמכים ותמונות, לטבלת משתנים מוסברת שאפשר לנתח. למשל, במקום להסתפק בזיהוי שביעות רצון בביקורת, המערכת יכולה להציע משתנים כגון איכות, מחיר ונוחות, להגדיר כיצד למדוד אותם ולבדוק אילו קשרים ביניהם נתמכים בנתונים. בניתוח השפעת קמפיינים או טיפולים, המערכת עשויה לסייע באיתור משתנים שיש להתחשב בהם כדי לצמצם הטיה. היתרון הוא שאין הכרח להגדיר מראש את כל המשתנים באמצעות מומחה; המערכת מחפשת אותם במידע הנלווה ומשפרת את הצעותיה באמצעות בדיקות סטטיסטיות. ברפואה ובמחקר מדעי, COAT יכולה לשמש עוזרת ליצירת השערות ולזיהוי מאפיינים רלוונטיים, לרבות מאפייני MRI או מדידות ממאגרי אקלים. זו אינה הוכחה אוטומטית לסיבתיות ואינה מערכת מאומתת לאבחון רפואי או להמלצות השקעה: התוצאות דורשות בדיקת מומחים, נתונים מתאימים ואימות נוסף.
פירוט המאמר
הבעיה והתרומה
גילוי סיבתיות מבוסס בדרך כלל על טבלאות שבהן מומחים כבר הגדירו ומדדו משתנים משמעותיים. במציאות, מידע חשוב מצוי לעיתים בביקורות, ברשומות רפואיות, בתמונות ובמאגרי מדידות מורכבים. המחקר מציע להתמודד עם צוואר הבקבוק הזה באמצעות COAT, קיצור של Causal representatiOn AssistanT. הרעיון הוא לנצל את הידע והיכולת הפרשנית של מודלי שפה כדי להציע משתנים ניתנים למדידה, אך לא להפקיד בידיהם את ההכרעה הישירה לגבי סיבתיות. המאמר מרחיב עבודה קודמת מ־2024 באמצעות שיטות להרחבת גרפים ולאיתור קבוצות התאמה לאמידת השפעות.
כיצד פועלת המסגרת
הקלט הוא משתנה יעד או קבוצת משתנים מובנים, ולצדם מידע לא־מובנה עבור אותן תצפיות. תחילה מודל שפה קורא דוגמאות ומציע גורמים, עם הגדרות מפורשות וכללי קידוד. לדוגמה, משתנה המתאר שביעות רצון ממתיקות תפוח יכול לקבל ערך חיובי, שלילי או אפס כאשר הנושא אינו מוזכר. מודל נוסף, או כלי חיצוני, מפיק את ערכי המשתנים בכל הדוגמאות. כך נבנית טבלה שעליה מופעל אלגוריתם גילוי סיבתיות, בעיקר FCI, המאפשר ייצוג אי־ודאות וקיום משתנים חבויים. המנגנון החשוב הוא משוב איטרטיבי: המערכת מאתרת דוגמאות שבהן המשתנים שכבר נמצאו אינם מסבירים היטב את היעד, ומציגה אותן למודל כדי לעודד הצעת משתנים חדשים. ביישום המרכזי מקבצים תצפיות לפי המשתנים הקיימים ובוחרים אשכול בעל אנטרופיה מותנית גבוהה של היעד. נשמר גם מאגר מועמדים, משום שמשתנה שאינו שימושי בתחילה עשוי להתברר כרלוונטי לאחר גילוי משתנים נוספים. המחברים מכנים תהליך זה חילוץ פעיל של ייצוגים סיבתיים.
שלוש גרסאות למטרות שונות
COAT-MB מחפשת שמיכת מרקוב: קבוצה מינימלית שההתניה בה הופכת את היעד לבלתי תלוי בשאר המשתנים. בגרף סיבתי מלא היא כוללת הורים, ילדים והורים נוספים של הילדים. זו קבוצה שימושית לחיזוי, אך היא אינה רשימת הגורמים הישירים ליעד. COAT-PAG מרחיבה את החיפוש מעבר לסביבה המקומית הזאת, משום שמשתנים רחוקים יותר עשויים לאפשר הבחנה בין מבנים שנראו שקולים ולהכריע כיווני קשרים. היא מתמקדת במשתנים הסמוכים לקצות קשתות שנותרו בלתי מוכרעים. COAT-ADJ מיועדת לאמידת השפעה של טיפול על תוצאה. היא מרחיבה את הגרף סביב מסלולים בין הטיפול לתוצאה וסביב צאצאים אפשריים, ולאחר מכן משתמשת בקריטריון התאמה גרפי מוכלל לבחירת משתנים להתניה. המטרה היא לחסום מסלולים לא־סיבתיים בלי לחסום את ההשפעה המבוקשת או ליצור הטיה חדשה. לא תמיד קיימת קבוצת התאמה תקפה; המסגרת אינה מבטיחה שאפשר לאמוד כל השפעה מתוך המידע הזמין.
הבסיס התאורטי
המחברים מנתחים תנאים שבהם הוספת משתנים מפחיתה את המידע שנותר בנתונים הלא־מובנים על היעד. הם מגדירים מדד תפיסה, המתאר את הסיכוי להצעת משתנה מועיל, ומדד קיבולת, המתאר את תרומתו להפחתת אי־הוודאות. תחת תנאים מתאימים מוצגת התכנסות מעריכית. ניתנות גם תוצאות על שימור שכנויות וראשי חצים בגרפים מורחבים ועל שימור קבוצות התאמה. ההבטחות מותנות, בין היתר, בתנאי מרקוב ונאמנות, בבדיקות אי־תלות תקפות ובשימור יחסי אי־התלות לאחר החילוץ. חלק מהניתוח ההסתברותי משתמש בקירוב נורמלי, ולא מהווה ערובה בלתי מותנית לביצועים במדגם קטן.
הערכה ותוצאות מרכזיות
במבחן AppleGastronome נוצרו ערכי משתנים לפי גרף ידוע, ולאחר מכן נכתבו ביקורות סינתטיות באמצעות מודל שפה. במשימת שמיכת מרקוב נבדקו עשרה מודלים על 200 דוגמאות. COAT שיפרה בדרך כלל את האיזון בין איתור משתנים רצויים לדחיית משתנים מטעים. למשל, עם Claude-3-Opus התקבל F1 של 0.97 לעומת 0.77 בהצעה חד־פעמית המבוססת על דוגמאות. במשימת הרחבת גרפים נבחנו חמישה מבנים עם 2,000 דוגמאות בכל אחד. עם DeepSeek-V3 עלה דיוק סימוני קצות הקשתות מ־48% בהסקה ישירה ל־88% באמצעות COAT. במבחן הנוירופתי נוצרו תיאורי תסמינים סינתטיים מנתוני סימולטור, ומדידות המשתנים המוצעים התקבלו בכלים חיצוניים. COAT שיפרה את זיהוי המשתנים הרלוונטיים, אך בעיות נאמנות בנתוני המקור הגבילו את הערכת הגרף. בשני מבחני שיווק, שהתבססו על נתונים קיימים ועל פוסטים סינתטיים בתנאי ערבוב, נבדקה אמידת השפעה באמצעות שקלול לפי הסתברות הטיפול. עם DeepSeek-V3 התקבלו שגיאות RMSE של 0.47 ו־0.50 נקודות אחוז, ובחלק מהתצורות התוצאות היו תחרותיות לאלה שהשתמשו בהגדרות משתנים של מומחים.
מקרי בוחן, עמידות ומגבלות
ב־60 תמונות MRI אותרו מאפייני האדרה ונוכחות אפקט מסה, התואמים ידע רפואי קיים. בניתוח אקלים המודל כתב קוד לשליפת מדידות, ואותרו 13 משתנים הקשורים לשינוי בטמפרטורת פני הים. בניתוח חדשות Microsoft נבחרו ארבעה גורמים; אסטרטגיה המבוססת על חדשנות וטכנולוגיה השיגה יחס שארפ של 1.86 בתקופת בדיקה של 400 ימי מסחר. אלה הדגמות חקרניות: התאמה לספרות וביצועי חיזוי אינם מוכיחים נכונות סיבתית. מבחני עמידות הראו התאוששות מהזרקת משתנים שגויים, דחיית גורמים לא־רלוונטיים והימנעות מאמידה במקרה מסוים של ערבוב בלתי נצפה. עם זאת, הראיות נשענות במידה ניכרת על נתונים סינתטיים, ומקרי הבוחן אינם כוללים אמת סיבתית ידועה. שגיאות חילוץ עלולות לשנות יחסי אי־תלות, והבדיקות אינן מוכיחות שהן זניחות בכל מצב. בנוסף, שימוש בבדיקת Fisher המבוססת על הנחות גאוסיות גם במשתנים בדידים מצריך זהירות. העלות גדלה עם מספר המשתנים והתצפיות, ו־FCI עלול להיות יקר חישובית. התרומה המרכזית היא אפוא דרך שיטתית לחיבור בין יצירת משתנים באמצעות מודלי שפה לבין בדיקה סטטיסטית, ולא פתרון אוטומטי ומובטח לגילוי סיבתיות.
היילייטס
- הפרדת תפקידים מרכזית: מודל השפה מציע ומחלץ משתנים, ואילו אלגוריתם סטטיסטי אחראי לגילוי המבנה הסיבתי ולמשוב.
- במבחן הרחבת הגרפים, COAT עם DeepSeek-V3 השיגה דיוק של 88% בסימוני קצות הקשתות, לעומת 48% בהסקה ישירה עם הנמקה ו־66% בתהליך חד־פעמי עם FCI.
- באמידת השפעות שיווק, COAT עם DeepSeek-V3 הפחיתה את RMSE ל־0.47 נקודות אחוז ב־Hillstrom ול־0.50 ב־Retail Hero, לעומת 1.52 ו־1.10 בבסיס ההשוואה עם FCI ללא איטרציות.
- מבחני עמידות הדגימו סילוק משתנים שגויים, דחיית משתנים שאינם קשורים לטקסט והימנעות מאמידת השפעה במקרה שנבדק עם ערבוב חבוי שאינו ניתן לחילוץ.
- ההבטחות התאורטיות מותנות בהנחות חזקות; מקרי הבוחן הרפואיים, האקלימיים והפיננסיים מספקים השערות ותמיכה ראשונית, לא אימות סיבתי עצמאי.
שאלות נפוצות
כיצד אפשר לגלות קשרים סיבתיים מתוך טקסט ותמונות באמצעות מודלי שפה?
מסגרת COAT משלבת מודלי שפה גדולים עם אלגוריתמים סטטיסטיים לגילוי סיבתיות. מודל השפה מציע משתנים משמעותיים מתוך מידע לא־מובנה, כגון ביקורות לקוחות או תמונות, ומגדיר כיצד למדוד אותם. לאחר חילוץ ערכי המשתנים נבנית טבלה, ואלגוריתם סטטיסטי בודק את הקשרים ומספק משוב לחיפוש משתנים נוספים. כך המערכת מסייעת לבנות ייצוג שניתן לנתח, בלי להסתמך על מודל השפה לבדו להכרעה מה גורם למה.
כיצד COAT יכולה לסייע באמידת ההשפעה של קמפיין שיווקי או טיפול?
גרסת COAT-ADJ מחפשת משתני התאמה שעשויים לאפשר אמידת השפעה תוך צמצום הטיה. היא מרחיבה את הגרף סביב הטיפול והתוצאה ובודקת אילו משתנים ניתן לכלול בניתוח כדי לחסום מסלולים לא־סיבתיים, בלי לחסום את ההשפעה המבוקשת או ליצור הטיה חדשה. בשני מבחני שיווק, COAT עם DeepSeek-V3 השיגה שגיאות RMSE של 0.47 ו־0.50 נקודות אחוז, לעומת 1.52 ו־1.10 בתהליך עם FCI ללא איטרציות. עם זאת, לא בכל מצב קיימת קבוצת התאמה תקפה.
האם קשרים ש־COAT מזהה הם הוכחה לסיבתיות?
לא. COAT מסייעת בגילוי משתנים, בבניית מבנים סיבתיים אפשריים וביצירת השערות, אך אינה מספקת הוכחה אוטומטית לסיבתיות. ההבטחות התאורטיות תלויות בהנחות על הנתונים, איכות חילוץ המשתנים ותקפות הבדיקות הסטטיסטיות. חלק ניכר מההערכה מבוסס על מידע סינתטי, ומקרי הבוחן ברפואה, באקלים ובפיננסים אינם כוללים אמת סיבתית ידועה. לכן נדרשים אימות נוסף ובדיקת מומחים, ואין לראות במערכת כלי מאומת לאבחון רפואי או להמלצות השקעה.
מדוע משוב איטרטיבי משפר גילוי סיבתיות לעומת הסקה ישירה של מודל שפה?
המשוב מכוון את מודל השפה למקומות שבהם המשתנים הקיימים עדיין אינם מסבירים היטב את היעד. ביישום המרכזי, COAT מקבצת תצפיות לפי המשתנים שכבר נמצאו ובוחרת קבוצה שבה אי־הוודאות לגבי היעד גבוהה. דוגמאות אלה משמשות להצעת משתנים נוספים ולבדיקה מחודשת של המבנה. במבחן הרחבת הגרפים, COAT עם DeepSeek-V3 השיגה דיוק של 88% בסימוני קצות הקשתות, לעומת 48% בהסקה ישירה עם הנמקה ו־66% בתהליך חד־פעמי עם FCI. נתון זה מתייחס למבחן המסוים, ולא מבטיח דיוק דומה בכל יישום.
מה ההבדל בין שמיכת מרקוב, הרחבת גרף ואיתור משתני התאמה?
שלוש גרסאות COAT משרתות מטרות שונות:
- COAT-MB: מחפשת שמיכת מרקוב — קבוצת משתנים מינימלית שההתניה בה הופכת את היעד לבלתי תלוי בשאר המשתנים. היא שימושית לחיזוי, אך אינה רשימת הגורמים הישירים ליעד.
- COAT-PAG: מחפשת משתנים נוספים שעשויים להבחין בין מבנים אפשריים ולהבהיר כיווני קשרים שנותרו בלתי מוכרעים.
- COAT-ADJ: מחפשת קבוצת התאמה תקפה לאמידת השפעת טיפול על תוצאה. ההבחנה חשובה: משתנה שמועיל לחיזוי אינו בהכרח משתנה שנכון להתנות בו בעת אמידת השפעה סיבתית.
כיצד שגיאות בחילוץ משתנים משפיעות על אמינות הגילוי הסיבתי?
שגיאות חילוץ עלולות לשנות את יחסי התלות ואי־התלות בנתונים, ולכן להוביל למבנה סיבתי שגוי. גם בדיקות סטטיסטיות שאינן מתאימות לאופי המשתנים עלולות לפגוע בתוצאות; למשל, שימוש בבדיקת Fisher המבוססת על הנחות גאוסיות גם במשתנים בדידים מחייב זהירות. מבחני העמידות הדגימו סילוק משתנים שגויים והימנעות מאמידת השפעה במקרה מסוים של ערבוב חבוי, אך אינם מוכיחים חסינות כללית. אמינות התוצאה תלויה אפוא גם באיכות המדידה ובהתאמת הבדיקות, ולא רק ביכולות מודל השפה.