זירת AI

ניתוח בגבול הסינגולרי של ירידת מפל עם הזרקת רעש

מאת Anna Shalova, André Schlichting, Mark Peletier · פורסם: · עודכן:

המחקר מציג מסגרת מתמטית מאחדת להבנת השפעת הזרקת רעש על ירידת גרדיאנט במערכות עם פרמטריזציית יתר, שבהן קיימת יריעה של פתרונות בעלי הפסד אפס. בניגוד לאימון דטרמיניסטי, שנעצר לאחר התכנסות ליריעה, רעש עשוי להניע תנועה אטית לאורכה וליצור העדפה לפתרונות מסוימים. באמצעות משפטי התכנסות בגבול קצב למידה קטן, החוקרים מבחינים בין שני משטרים: רעש לא־מנוון, כגון סוגים מסוימים של Dropout, יוצר זרימת גרדיאנט דטרמיניסטית המוגבלת ליריעה לאחר סדר גודל של 1/(ασ²) צעדים; רעש מנוון עשוי ליצור תהליך סטוכסטי רק לאחר 1/(α²σ²) צעדים. כאן α הוא קצב הלמידה ו־σ² שונות הרעש. רעש בתוויות מוביל במקרה הנחקר להעדפת פתרונות בעלי עקמומיות כוללת נמוכה יותר, בעוד שגרסת minibatching הנבחנת אינה יוצרת תנועה בשני סולמות הזמן. התרומה המרכזית היא אפיון מפורש של ההטיה שמשרים מנגנוני רעש שונים ושל מהירות פעולתה, ולא הוכחה כללית לשיפור הכללה.

יישומי המאמר

המאמר מסביר מדוע שתי שיטות שמוסיפות אקראיות לאימון אינן בהכרח עושות אותו דבר: Dropout, רעש בתוויות ורעש של בחירת דוגמאות יכולים להוביל את המודל לפתרונות שונים, וגם לפעול בקצבים שונים מאוד. לכן, בחירת סוג הרעש חשובה ולא רק עוצמתו. למי שמפתח מודלים, התוצאות מספקות דרך תאורטית להבין איזו העדפה משרה מנגנון רעש מסוים לאחר שהמודל כבר מתאים לנתוני האימון. למשל, הפרעה גאוסית לפרמטרים עשויה להעדיף אזורים שטוחים יותר של פונקציית ההפסד, ואילו Dropout בשכבה האחרונה מעודד הקטנה של תרומות נוירונים מסוימות. התוצאות מזהירות שלא להניח שרעש של minibatching לבדו ממשיך לשפר את הפתרון לאחר הגעה להפסד אפס. עם זאת, זו אינה המלצה גורפת להוסיף רעש לכל אימון: הניתוח עוסק במשטר מתמטי מוגדר של קצב למידה קטן ובסביבת פתרונות בעלי הפסד אפס, ואינו מספק מתכון מוכח לשיפור ביצועים במודלים מעשיים.

פירוט המאמר

שאלת המחקר והרקע

במודלים עם פרמטריזציית יתר קיימים לעיתים פתרונות רבים המתאימים לחלוטין לנתוני האימון. פתרונות אלה יוצרים קבוצה שהמאמר מתאר כיריעת הפסד אפס, המסומנת Γ. ירידת גרדיאנט דטרמיניסטית מתקרבת ליריעה ואז מפסיקה לנוע, אך הזרקת רעש עשויה לגרום להמשך תנועה אטית לאורכה. שאלת המחקר היא כיצד מבנה הרעש קובע את התנועה הזאת, איזה קריטריון היא מקטינה, ובאיזה סולם זמן אפשר להבחין בה. המטרה היא לאחד ניתוחים של מנגנוני רעש שונים, ולא להסתפק בהסבר נפרד לכל אלגוריתם.

המסגרת המתמטית וההנחות

החוקרים בוחנים עדכונים מהצורה w הבא = w פחות α כפול הגרדיאנט של פונקציית הפסד מורחבת התלויה בפרמטרים וברעש. בהיעדר רעש, הפונקציה המורחבת שווה להפסד המקורי. רכיבי הרעש עצמאיים, ממורכזים ובעלי שונות σ². המסגרת כוללת בין השאר Dropout, DropConnect, הפרעות לתוויות, הפרעות לפרמטרים וגרסה של minibatching. ההנחות המרכזיות הן חלקות מספקת, מבנה יריעתי של קבוצת פתרונות האפס, דרגה קבועה של הסיאן ופער ספקטרלי חיובי בכיוונים הניצבים ליריעה. האתחול צריך להיות בסביבה הנמשכת אליה. ההוכחות משתמשות במשפט של Katzenberger לתהליכים שכוח משיכה חזק מאלץ אותם להישאר על יריעה. לאחר האצת הזמן, ההתקרבות הראשונית ליריעה נראית כמעט מיידית. כדי לטפל בכך באופן מתמטי, החוקרים מתקנים את התהליך באמצעות מפת הגבול של זרימת הגרדיאנט הדטרמיניסטית. ההתכנסות מנוסחת עבור תהליכים הנעצרים ביציאה מקבוצה קומפקטית בתוך הסביבה המתאימה. כאשר משוואת הגבול בעלת פתרון יחיד, ניתן להסיק התכנסות של הסדרה כולה עד זמן היציאה.

המשטר הלא־מנוון: תנועה המונעת מהטיה ממוצעת

במשטר הראשון, פיתוח פונקציית ההפסד ברעש מראה תיקון ממוצע לגרדיאנט מסדר σ². כאשר גם α וגם σ שואפים לאפס, התנועה לאורך Γ נצפית לאחר סדר גודל של 1/(ασ²) צעדים. הגבול הוא משוואה דטרמיניסטית: ירידת גרדיאנט של רגולרייזר, כאשר הגרדיאנט מוקרן למרחב המשיק ליריעה. הרגולרייזר הוא מחצית הלפלסיאן של ההפסד המורחב ביחס למשתני הרעש, בנקודת רעש אפס. כלומר, תלות ההפסד ברעש קובעת במפורש את ההעדפה בין פתרונות המתאימים לנתונים. ההקרנה למרחב המשיק נוצרת משום שהפסד האימון מחזיר במהירות את הפרמטרים אל היריעה בכל פעם שהפרעת הרעש דוחפת אותם החוצה. רעש בעל תרומה ממוצעת לא־אפס לגרדיאנט יכול אפוא ליצור תנועה כבר בסולם הזמן הזה. כאשר הרעש מוזרק באמצעות הזזת הפרמטרים לפני חישוב ההפסד, הרגולרייזר הוא מחצית הלפלסיאן של ההפסד ביחס לפרמטרים. לאורך יריעת האפס זהו מדד לעקמומיות הכוללת, ולכן התנועה נוטה לאזורים שבהם העמק סביב הפתרונות רחב יותר.

המשטר המנוון: תנודות ותיקון גאומטרי

במנגנונים אחרים התיקון הממוצע הרלוונטי קבוע בפרמטרים, ולכן המשטר הראשון נותן תנועה טריוויאלית. עבור מחלקה מוגדרת של הפסדים שתלותם הרלוונטית ברעש היא ליניארית וריבועית, החוקרים מוכיחים משפט גבול בסולם אטי יותר: 1/(α²σ²) צעדים. כאן נדרש שקצב הלמידה ישאף לאפס, אך שונות הרעש יכולה להתכנס גם לערך חיובי. הגבול הוא בדרך כלל משוואה דיפרנציאלית סטוכסטית על היריעה, הכוללת רעש משיק וסחיפה הנובעת מהנגזרת השנייה של מפת הגבול. המשמעות היא שגם כאשר אומדן הגרדיאנט אינו מוטה, תנודות מצטברות יכולות ליצור העדפה בין פתרונות. עם זאת, הגבול אינו חייב להישאר אקראי: במקרים שבהם ההפרעות ניצבות ליריעה, הרכיב הסטוכסטי המשיק מתאפס ונותרת סחיפה דטרמיניסטית. לכן ההבחנה בין שני המשטרים אינה רק בין רעש חזק לחלש, אלא בין מנגנוני יצירת תנועה שונים ובין סדרי גודל שונים של מספר צעדי האימון.

יישומים למנגנוני רעש נפוצים

ברעש בתוויות תחת הפסד ריבועי, מתקבלת זרימת גרדיאנט דטרמיניסטית המקטינה את הרגולרייזר ΔL/(2N), כאשר N הוא מספר דוגמאות האימון. לעומת זאת, בגרסת minibatching הנחקרת כל דוגמה נכללת באופן עצמאי והגודל בפועל של האצווה אקראי. מאחר שכל הפסד פרטני אינו שלילי ומתאפס על Γ, גם הגרדיאנטים הפרטניים מתאפסים שם. כתוצאה מכך, אין תנועה על היריעה בשני סולמות הזמן. אין להסיק מכך של־SGD אין הטיה סמויה בשלבים אחרים או בקצבי למידה גדולים. ב־Dropout המופעל בשכבה האחרונה, עבור הפסד ריבועי, הרגולרייזר הוא ממוצע סכומי ריבועי תרומות הנוירונים: משקל היציאה בריבוע כפול הפעלת הנוירון בריבוע. התוצאה חלה על מסכות ברנולי וגאוסיות בתנאים המתאימים. ברשתות עמוקות עם Dropout במספר שכבות, המאמר מוכיח תוצאה עבור מסכות גאוסיות, אך אינו נותן נוסחה מפורשת ופשוטה לרגולרייזר. ב־DropConnect גאוסי מתקבל סכום איברי האלכסון של הסיאן, המשוקללים בריבועי הפרמטרים. בגרסת ברנולי מתקבל קריטריון לא־מקומי התלוי בהפסד לאחר איפוס פרמטרים בודדים. בהפרעת גרדיאנט גאוסית איזוטרופית, המכונה במאמר SGLD, הגבול משלב תנועה בראונית על היריעה וסחיפה התלויה בלוגריתם מכפלת הערכים העצמיים הלא־אפסיים של הסיאן. שילוב minibatching עם רעש בתוויות אינו משנה את צורת הרגולרייזר, אך עשוי לשנות את מקדם המהירות; בשילוב עם Dropout הוא אינו משנה את הרגולרייזר המוביל במסגרת הנבחנת.

משמעות, מגבלות וכיווני המשך

המחקר תאורטי בעיקרו, עם סימולציות דו־ממדיות המדגימות התאמה לזרימות הגבול ואת הפרדת סולמות הזמן. הוא אינו מספק ניסויי ביצועים רחבי היקף או הוכחה כללית לשיפור הכללה. ההנחות מגבילות את התחולה לסביבה חלקה של יריעת פתרונות; ברשתות ReLU אפשר להחיל את הניתוח מקומית באזורים ללא אי־חלקות מתאימה. התרומה המעשית־מושגית היא אפשרות לתכנן מנגנוני רעש לפי ההעדפה הרצויה בין פתרונות. כיווני ההמשך כוללים רעש מתואם, קצבי למידה משתנים, מומנטום ושילוב עם ניתוחי גבול של רשתות רחבות.

היילייטס

  • מבנה הרעש קובע הן את ההעדפה בין פתרונות בעלי הפסד אפס והן את סולם הזמן שבו היא מתפתחת.
  • רעש לא־מנוון יוצר זרימת גרדיאנט מוגבלת ליריעה לאחר כ־1/(ασ²) צעדים; במקרים מנוונים נדרשים כ־1/(α²σ²) צעדים לתיאור לא־טריוויאלי.
  • עבור רעש בתוויות מתקבלת תנועה דטרמיניסטית המקטינה את עקבת הסיאן ההפסד לאורך יריעת הפתרונות.
  • גרסת minibatching המבוססת על הכללה עצמאית של דוגמאות אינה יוצרת תנועה על היריעה בשני סולמות הזמן הנחקרים.
  • רעש גאוסי ורעש ברנולי ב־DropConnect עשויים להשרות רגולריזציות שונות: מקומית המבוססת על נגזרות לעומת לא־מקומית המבוססת על איפוס פרמטרים.

שאלות נפוצות

כיצד הזרקת רעש משפיעה על אימון מודלים גם לאחר שהפסד האימון מגיע לאפס?

במודלים עם פרמטריזציית יתר עשויים להתקיים פתרונות רבים המתאימים לחלוטין לנתוני האימון. ירידת גרדיאנט ללא רעש נעצרת לאחר התכנסות לקבוצת הפתרונות הזאת, ואילו מנגנוני רעש מסוימים יכולים להניע תנועה אטית לאורכה. כך נוצרת רגולריזציה סמויה: העדפה לפתרונות מסוימים גם ללא הוספת רכיב ענישה מפורש לפונקציית ההפסד. סוג הרעש קובע הן את ההעדפה והן את קצב התפתחותה.

מדוע Dropout, רעש בתוויות ו־minibatching אינם תחליפים זה לזה?

מנגנוני הרעש פועלים בדרכים שונות, ולכן אינם בהכרח מובילים לאותם פתרונות. תחת הפסד ריבועי ובתנאים שנחקרו, Dropout בשכבה האחרונה מעודד הקטנה של סכום ריבועי תרומות הנוירונים לפלט, ואילו רעש בתוויות מעדיף פתרונות בעלי עקמומיות כוללת נמוכה יותר של ההפסד. לעומתם, גרסת ה־minibatching שנבחנה אינה יוצרת תנועה לאורך קבוצת פתרונות האפס בשני סולמות הזמן שנותחו. לכן, בחירת מנגנון הרעש חשובה לא פחות מבחירת עוצמתו.

האם הוספת רעש לאימון מבטיחה הכללה טובה יותר?

לא. העדפה לפתרונות מסוימים אינה כשלעצמה הוכחה לשיפור הביצועים על נתונים חדשים. הניתוח מסביר כיצד רעש משפיע על בחירת פתרונות בסביבה של הפסד אפס ובגבול של קצב למידה קטן, אך אינו מספק מתכון מוכח לשיפור הכללה במודלים מעשיים. גם העדפה לאזורים שטוחים יותר של פונקציית ההפסד אינה מוצגת כהבטחה לדיוק גבוה יותר.

כיצד קצב הלמידה ושונות הרעש קובעים מתי תופיע רגולריזציה סמויה?

קיימים שני סולמות זמן מרכזיים, כאשר α הוא קצב הלמידה ו־σ² היא שונות הרעש:

  • במשטר הלא־מנוון, תנועה משמעותית מתפתחת לאחר סדר גודל של ‎1/(ασ²)‎ צעדים. הגבול הוא זרימת גרדיאנט דטרמיניסטית המוגבלת ליריעת פתרונות האפס.
  • במשטר המנוון שנחקר, תיאור לא־טריוויאלי עשוי להופיע רק לאחר סדר גודל של ‎1/(α²σ²)‎ צעדים. הגבול הוא בדרך כלל תהליך סטוכסטי על היריעה, אך במקרים מסוימים נותרת תנועה דטרמיניסטית בלבד. אלה סדרי גודל אסימפטוטיים תחת הנחות מתמטיות מוגדרות, ולא נוסחה ישירה לקביעת מספר צעדי האימון במודל מעשי.

מדוע רעש בתוויות מעדיף פתרונות בעלי עקמומיות נמוכה יותר?

תחת הפסד ריבועי ובהנחות הניתוח, רעש בתוויות יוצר תנועה לאורך יריעת פתרונות האפס המקטינה את הרגולרייזר ‎ΔL/(2N)‎, כאשר N הוא מספר דוגמאות האימון. הביטוי ΔL הוא עקבת הסיאן ההפסד, ומשקף את העקמומיות הכוללת המקומית שלו. לכן התנועה מעדיפה פתרונות שסביבתם שטוחה יותר לפי מדד זה. אף שמקור ההפרעה אקראי, תנועת הגבול במקרה הזה דטרמיניסטית.

מדוע רעש של minibatching עשוי להפסיק להשפיע בהפסד אפס?

בגרסה שנבחנה, כל דוגמת אימון נכללת באצווה באופן עצמאי. על יריעת פתרונות האפס, כל הפסד פרטני הוא אי־שלילי ומתאפס, ולכן גם הגרדיאנט שלו מתאפס. כתוצאה מכך, בחירה אקראית של דוגמאות אינה מייצרת עדכון שמניע את הפרמטרים לאורך היריעה בשני סולמות הזמן שנחקרו. אין להסיק מכך של־SGD אין רגולריזציה סמויה בכלל: התוצאה אינה שוללת השפעות בשלבים מוקדמים של האימון, בקצבי למידה גדולים או מחוץ להנחות הניתוח.

מחקרים קשורים