רגרסיית הפסד צפוי מותנה (Expected Shortfall) באמצעות רשתות עצביות עמוקות, עם עמידות לזנבות
מאת Myeonghun Yu, Kean Ming Tan, Huixia Judy Wang, Wen-Xin Zhou · פורסם: · עודכן:
המחקר מפתח שיטה לאמידת תוחלת מותנית בזנב ההתפלגות, המכונה Expected Shortfall, באמצעות רשתות עצביות עמוקות. בניגוד לאחוזון, שמסמן סף לאירועים חריגים, המדד מתאר את חומרתם הממוצעת מעבר לסף. השיטה פועלת בשני שלבים: רשת ראשונה אומדת אחוזון מותנה, ורשת שנייה לומדת תגובה חלופית שנבנית ממנו, באמצעות הפסד Huber המפחית רגישות לזנבות כבדים. תכונת אורתוגונליות מצמצמת את השפעת שגיאות האמידה בשלב הראשון, בלי לחייב פיצול מדגם בין השלבים. המחברים מוכיחים חסמי שגיאה לא־אסימפטוטיים וקצבי התכנסות התלויים במבנה ההרכבה הפנימי של הפונקציות. תחת הנחותיהם, האומד החסין מתכנס מהר יותר ממקבילו המבוסס על ריבועים פחותים, ובנתונים בעלי זנבות קלים הוא שומר על קצב התכנסות דומה. סימולציות מדגימות שיפור בדיוק וביציבות, אך לא יתרון אחיד בכל תרחיש. יישום למשקעים בארצות הברית מצביע על קשרי אל ניניו בולטים יותר בממוצע הזנב העליון מאשר בממוצע הרגיל, במיוחד בדרום קליפורניה ולאורך חוף מפרץ מקסיקו בחורף.
יישומי המאמר
המאמר מציע דרך להעריך לא רק באיזו נקודה מתחילים האירועים החריגים, אלא מהי חומרתם הממוצעת מעבר לנקודה הזאת. לדוגמה, בניהול סיכונים פיננסיים אפשר להעריך את ההפסד הממוצע בתרחישים הגרועים ביותר, ובביטוח אפשר להתמקד בעלות הממוצעת של התביעות הגדולות. היתרון המעשי הוא שילוב בין רשת עצבית, שמסוגלת ללמוד קשרים לא־ליניאריים מורכבים, לבין מנגנון שמפחית את השפעתן של תצפיות קיצוניות על האימון. בניסויים מסוימים השילוב הפחית משמעותית את שגיאת החיזוי ביחס לרשת שאומנה באמצעות שגיאה ריבועית רגילה. ביישום האקלימי, השיטה זיהתה קשרים בין אל ניניו לבין חומרת המשקעים החריגים שלא היו בולטים באותה מידה בחיזוי הממוצע. מידע כזה עשוי לתמוך בתכנון תשתיות ובהיערכות להצפות, אך המחקר עצמו אינו בוחן החלטות תפעוליות ואינו מוכיח השפעה סיבתית. למפתחים מוצע תהליך אימון דו־שלבי שניתן לממש ב־PyTorch: תחילה חיזוי אחוזון, ולאחריו חיזוי ממוצע הזנב באמצעות הפסד Huber. המימוש דורש כוונון של פרמטר החסינות, וההבטחות התאורטיות אינן מכסות אוטומטית אירועים נדירים יותר ויותר ככל שגודל המדגם גדל.
פירוט המאמר
מטרת המחקר והבעיה הסטטיסטית
Expected Shortfall, המכונה גם Conditional Value-at-Risk, מתאר במאמר את ממוצע התוצאות בזנב התחתון מעבר לאחוזון נתון. באמצעות היפוך סימן התגובה אפשר לאמוד גם את ממוצע הזנב העליון. המדד משלים אחוזונים משום שהוא מתייחס לחומרת האירועים החריגים, ולא רק לסף שמפריד בינם לבין יתר התצפיות. המחקר מבקש לאמוד אותו כתלות במשתנים מסבירים, ללא הנחה שהקשר ליניארי, ובתנאים שבהם התגובה עשויה להיות בעלת זנבות כבדים. אמידה זו מאתגרת משתי סיבות. ראשית, Expected Shortfall לבדו אינו ניתן לאפיון כממזער ייחודי של תוחלת פונקציית הפסד רגילה, אף שניתן לאפיין אותו במשותף עם אחוזון. שנית, ממוצע הזנב רגיש לערכים חריגים במיוחד. שיטות החלקה קלאסיות מתקשות כאשר מספר המשתנים עולה, ואילו גישות עצביות המבוססות על הפסד ריבועי עלולות לסבול מחוסר יציבות. המחברים מציעים מסגרת שמטפלת יחד בגמישות הפונקציונלית, בשגיאת האחוזון ובזנבות הכבדים.
השיטה: אחוזון, תגובה חלופית ואמידה חסינה
בשלב הראשון מאמנים רשת ReLU לאמידת האחוזון המותנה באמצעות הפסד האחוזונים המקובל. בשלב השני בונים לכל תצפית תגובה חלופית: Z = min(Y − f(X), 0) + αf(X), כאשר f הוא האחוזון שנאמד ו־α היא רמת הזנב. כאשר משתמשים באחוזון האמיתי, התוחלת המותנית של Z שווה ל־α כפול פונקציית Expected Shortfall המבוקשת. כך בעיית אמידת הזנב הופכת לבעיית רגרסיה על תגובה שנוצרה מהנתונים. המאמר מציג שני אומדים לשלב השני: DES, המבוסס על ריבועים פחותים, ו־DRES, המשתמש בהפסד Huber. הפסד זה ריבועי בשאריות קטנות וליניארי בשאריות גדולות. הפרמטר τ קובע את נקודת המעבר: ערך קטן משפר חסינות אך מגדיל הטיה, וערך גדול מפחית הטיה אך מגביר רגישות. בניסויים נבחר כלל אצבע המבוסס על סטיית התקן של השאריות השליליות בשלב הראשון, מוכפלת ב־(n/log n) בחזקת 0.3. זהו קירוב מעשי לכוונון התאורטי, ולא בחירה אופטימלית מוכחת לכל התפלגות. יתרון מרכזי נובע מאורתוגונליות: בנקודת האחוזון האמיתי, הנגזרת של תוחלת פונקציית הציון ביחס לאחוזון מתאפסת. לכן ההשפעה המקומית של שגיאת האמידה המקדימה מופיעה בחסם דרך ריבוע שגיאת L4, ולא באופן ליניארי. הניתוח מאפשר להשתמש באותן תצפיות בשני השלבים, אך כולל איבר שגיאה נוסף בשל השימוש המשותף במדגם. פיצול מדגם יכול להסיר איבר זה; השאלה אם התאמה צולבת משפרת יעילות במסגרת העצבית נותרת פתוחה.
הבטחות תאורטיות ומבנה הפונקציות
המחברים מנתחים רשתות שפלטיהן חסומים, ומניחים פונקציות יעד בעלות מבנה היררכי המורכב מפונקציות חלקות שתלויות במספר קטן יחסית של קלטים. קצבי ההתכנסות נקבעים בעיקר לפי היחס בין החלקות למספר הקלטים ברכיב הקשה ביותר. כך אפשר להקל על קללת הממד, אך לא לבטלה עבור כל פונקציה אפשרית. מוצגים גם חסמי קירוב בעלי תלות פולינומית במספר הקלטים המרבי ברכיבים, וגמישות בבחירת עומק ורוחב הרשת. תחת חסם על מומנט מותנה מסדר p גדול מאחד של שארית הזנב הממורכזת, המאמר מוכיח חסמי שגיאה לא־אסימפטוטיים. בכוונון המתאים, DRES מקבל קצב התכנסות מהיר יותר מ־DES וחסמי סטייה מעריכיים, בעוד DES מקבל חסמים פולינומיים. תחת רעש תת־גאוסי, הגדלה מספקת של τ הופכת את הטיית החסינות לזניחה ומאפשרת קצב דומה לזה של ריבועים פחותים. התוצאות תלויות גם בהנחות על הצפיפות המותנית ובחסימות פונקציות היעד.
אמידה בכמה רמות זנב
הגרסה NC-DRES אומדת כמה פונקציות באופן משותף ומבטיחה שלא יחצו זו את זו. פערים חיוביים בין הפלטים שומרים על סדר האחוזונים ועל סדר אומדי Expected Shortfall. לאחר מכן כל אומד זנב תחתון נחתך באמצעות מינימום עם האחוזון המקביל, כדי שלא יעלה עליו. עם זאת, החיתוך משנה את ההבטחה התאורטית: האומד הסופי כבר אינו נהנה מאותה אי־רגישות מסדר ראשון לשגיאת האחוזון. גם הדיוק האמפירי של הגרסה המשותפת אינו תמיד טוב יותר.
הסימולציות והממצאים הכמותיים
הניסויים משתמשים במודלים לא־ליניאריים והטרוסקדסטיים עם 8–20 משתנים, וברעש נורמלי, t או פארטו מוחזר. ההשוואות כוללות אומדים מקומיים, רגרסיית אחוזונים חד־אינדקסית משוקללת ואומדי אורקל שיודעים את האחוזון האמיתי. הרשתות המרכזיות כוללות ארבע שכבות חבויות ומאומנות באמצעות Adam. בתרחיש המרכזי, עם 4,096 תצפיות ורעש t, שגיאת החיזוי באחוזון 10% הייתה 0.373 ב־DES, לעומת 0.229 ב־DRES ו־0.149 ב־NC-DRES. ברעש נורמלי ההבדלים קטנים בהרבה. בנספחים קיימים תרחישים שבהם האומד המקומי עדיף, ותרחישים שבהם NC-DRES נכשל יחסית ברמת הזנב הנמוכה ביותר.
יישום אקלימי, פרשנות ומגבלות
היישום מנתח 647,829 תצפיות משקעים חודשיות שהופקו מנתוני ריאנליזה בשנים 1950–2015, ב־819 נקודות רשת בארצות הברית. המשתנים כוללים את מדד ENSO, השנה, העונה וקואורדינטות המיקום. המטרה היא ממוצע האחוז העליון של המשקעים. ההשוואה בין תחזיות בתנאי אל ניניו לתנאים ניטרליים מצביעה על שונות עונתית וגאוגרפית; בחורף הקשרים בדרום קליפורניה ובחוף מפרץ מקסיקו בולטים יותר בממוצע הזנב מאשר בממוצע הרגיל. חשיבות משתנים באמצעות ערבוב מראה שאורך גאוגרפי מוביל בשני המודלים, ושחשיבות רוחב גאוגרפי עולה במודל הזנב. הממצאים האקלימיים הם קשרים חזויים, ולא ראיות סיבתיות. נוסף לכך, התאוריה מניחה תצפיות בלתי תלויות ואינה מספקת כאן טיפול ייעודי בתלות המרחבית והזמנית האפשרית בנתוני האקלים. ההבטחות עוסקות באומדי מזעור סיכון ואינן מבטיחות שאימון Adam ישיג פתרון גלובלי. המסגרת מתייחסת לרמת זנב קבועה, לא לרמה המתקרבת לאפס, ואין בה תורת הסקה מלאה או רווחי סמך לאומדים העצביים. לכן התרומה העיקרית היא מסגרת אמידה חסינה עם ביסוס מתמטי וניסויי, ולא פתרון אוניברסלי לחיזוי כל אירוע קיצון.
היילייטס
- שיטה דו־שלבית משלבת רגרסיית אחוזונים ורגרסיית Expected Shortfall חסינה, ללא צורך בפיצול מדגם בין שלבי האמידה.
- תחת ההנחות התאורטיות, האומד החסין משיג קצב התכנסות מהיר יותר וחסמי סטייה מעריכיים, לעומת חסמים פולינומיים לאומד הריבועים הפחותים בזנבות כבדים.
- בתרחיש המרכזי עם רעש t ואחוזון 10%, שגיאת החיזוי הממוצעת ירדה מ־0.373 באומד הלא־חסין ל־0.229 באומד החסין, ול־0.149 בגרסה ללא חציות.
- ניתוח המשקעים הצביע על קשר חורפי בולט יותר בין אל ניניו לבין ממוצע המשקעים הקיצוניים בדרום קליפורניה ולאורך חוף מפרץ מקסיקו.
- היתרון אינו אחיד: חלק משיטות ההשוואה היו טובות יותר בתרחישים מסוימים, והמסגרת התאורטית אינה מכסה רמות זנב המתקרבות לאפס.
שאלות נפוצות
מהו Expected Shortfall, ובמה הוא שונה מאחוזון בחיזוי אירועי קיצון?
Expected Shortfall, המכונה גם Conditional Value-at-Risk, מתאר את ממוצע התוצאות בזנב ההתפלגות מעבר לאחוזון נתון. אחוזון מסמן את הסף לאירועים חריגים; Expected Shortfall מתאר את חומרתם הממוצעת מעבר לסף. בניהול סיכונים פיננסיים הוא יכול לשמש להערכת ההפסד הממוצע בתרחישים הגרועים ביותר, ובביטוח להערכת העלות הממוצעת של התביעות הגדולות. השיטה אומדת את המדד כתלות במשתנים מסבירים, כך שניתן ללמוד גם קשרים לא־ליניאריים בין תנאי הרקע לחומרת האירועים.
מדוע חיזוי אירועי קיצון באמצעות רשתות עצביות דורש אימון חסין?
בנתונים בעלי זנבות כבדים, תצפיות קיצוניות במיוחד עלולות להשפיע מאוד על אימון באמצעות שגיאה ריבועית. הפסד Huber מפחית את ההשפעה הזאת: הוא ריבועי בשאריות קטנות וליניארי בשאריות גדולות, וכך משלב גמישות של רשת עצבית עם חסינות לערכים קיצוניים. בתרחיש סימולציה מרכזי עם רעש t ורמת זנב של 10%, שגיאת החיזוי הממוצעת ירדה מ־0.373 באומד המבוסס על ריבועים פחותים ל־0.229 באומד החסין. עם זאת, היתרון לא היה אחיד בכל התרחישים.
כיצד חיזוי ממוצע הזנב מסייע להבין משקעים קיצוניים וקשרי אל ניניו?
חיזוי ממוצע הזנב העליון מתמקד בחומרת המשקעים החריגים, ולא בממוצע המשקעים הכולל. ביישום לנתוני משקעים בארצות הברית, אמידת ממוצע האחוז העליון חשפה קשרים חורפיים בולטים יותר בין אל ניניו למשקעים קיצוניים בדרום קליפורניה ולאורך חוף מפרץ מקסיקו. מידע כזה עשוי לתמוך בתכנון תשתיות ובהיערכות להצפות. עם זאת, הממצאים מתארים קשרים חזויים, אינם מוכיחים סיבתיות, והמחקר לא בחן את השפעתם על החלטות תפעוליות.
כיצד מאמנים רשת עצבית לאמידת Expected Shortfall בשני שלבים?
בשלב הראשון מאמנים רשת ReLU לאמידת האחוזון המותנה באמצעות הפסד אחוזונים. בשלב השני בונים לכל תצפית תגובה חלופית:
Z = min(Y − f(X), 0) + αf(X)
כאן f(X) הוא האחוזון שנאמד ו־α היא רמת הזנב. כאשר האחוזון נכון, התוחלת המותנית של Z שווה ל־α כפול Expected Shortfall של הזנב התחתון. רשת שנייה לומדת את התגובה החלופית באמצעות הפסד Huber, תוך התחשבות בגורם הסקלה α. ניתן לממש את התהליך ב־PyTorch, אך יש לכוונן את פרמטר החסינות, הקובע את האיזון בין הטיה לרגישות לתצפיות קיצוניות. לאמידת הזנב העליון אפשר להפוך את סימן התגובה.
כיצד אורתוגונליות מצמצמת את השפעת שגיאת האחוזון על אמידת הזנב?
בנקודת האחוזון האמיתי, הנגזרת של תוחלת פונקציית הציון ביחס לאחוזון מתאפסת. תכונה זו, המכונה אורתוגונליות, מצמצמת את הרגישות המקומית של אומד Expected Shortfall לשגיאות בשלב הראשון. בחסם התאורטי, השפעת השגיאה המקדימה מופיעה דרך ריבוע שגיאת L4 ולא באופן ליניארי. הניתוח מאפשר להשתמש באותן תצפיות בשני שלבי האימון ללא פיצול מדגם, אך השימוש המשותף מוסיף איבר שגיאה לחסם; הוא אינו מבטל לחלוטין את השפעת אמידת האחוזון.
מהן המגבלות של אמידת Expected Shortfall חסינה באמצעות למידה עמוקה?
ההבטחות התאורטיות תלויות בהנחות על מומנטים מותנים, צפיפות מותנית, חסימות פונקציות היעד והמבנה ההיררכי שלהן. תחת ההנחות המתאימות ובכוונון נכון, האומד החסין משיג קצב התכנסות מהיר יותר ממקבילו המבוסס על ריבועים פחותים בזנבות כבדים. עם זאת, המסגרת עוסקת ברמת זנב קבועה ואינה מכסה רמות המתקרבות לאפס ככל שהמדגם גדל. היא גם אינה מספקת רווחי סמך מלאים לאומדים העצביים או מבטיחה שאימון Adam ימצא פתרון גלובלי. בנתוני אקלים נדרשת זהירות נוספת, משום שהתאוריה מניחה תצפיות בלתי תלויות ואינה מטפלת כאן באופן ייעודי בתלות מרחבית וזמנית.