האם יש להטיל קנס על שונות ההפסדים בלמידה עם רעש בתוויות?
מאת Yexiong Lin, Yu Yao, Yuxuan Du, Jun Yu, Bo Han, Mingming Gong, Tongliang Liu · פורסם: · עודכן:
האם כדאי לצמצם את ההבדלים בין ההפסדים של דוגמאות האימון כאשר חלק מהתוויות שגויות? המחקר מציג תשובה מפתיעה: בשיטות מסוימות ללמידה עם רעש בתוויות, דווקא עידוד שונות גבוהה יותר משפר את ההכללה. החוקרים מציעים את VRNL, תוספת לפונקציית המטרה שמחסירה מההפסד הממוצע רכיב התלוי בשונות ההפסדים. ניתוח הגרדיאנטים מראה שהתוספת מחזקת דוגמאות בעלות הפסד נמוך ומחלישה דוגמאות בעלות הפסד גבוה. מאחר שרשתות נוטות ללמוד דוגמאות נכונות לפני שהן משננות תוויות שגויות, הדבר עשוי לעכב התאמת־יתר לרעש. השיטה שולבה בארבעה אלגוריתמים ונבדקה במאגרי תמונות עם רעש מלאכותי ואמיתי. השיפורים היו עקביים ברוב התרחישים, ולעיתים גדולים מאוד: עד 32.11 נקודות אחוז בניסוי מסוים. עם זאת, התועלת תלויה בהפרדה בין הפסדי דוגמאות נכונות ושגויות; שימור העקביות הסטטיסטית נתמך בניסויים, אך אינו מוכח באופן כללי.
יישומי המאמר
כאשר מאמנים מסווג תמונות בעזרת תיוגים מהאינטרנט או ממיקור המונים, חלק מהתוויות שגויות. המחקר מציע תוספת פשוטה לפונקציית האימון, שמקטינה את השפעתן של דוגמאות החשודות כשגויות ומחזקת את השפעתן של דוגמאות שנראות אמינות, בלי למחוק דוגמאות ממאגר האימון. מבחינה מעשית, אפשר לשלב את התוספת בשיטות קיימות לתיקון רעש בתוויות, למשל במערכות לזיהוי קטגוריות מוצרים או לסיווג תמונות שנאספו מהרשת. בניסויים היא שיפרה בדרך כלל את הדיוק, ללא צורך בתוויות נקיות לצורך האימון או בחירת עוצמת הרגולריזציה. זו אינה המלצה להגדיל את שונות השגיאות בכל מודל. השיטה נבדקה בעיקר בשיטות ייעודיות ללמידה עם תוויות רועשות, והיא תלויה בכך שדוגמאות מתויגות נכון נלמדות בדרך כלל לפני דוגמאות מתויגות שגוי. נדרשים כוונון ובדיקה כדי שלא להחליש גם דוגמאות קשות אך נכונות.
פירוט המאמר
שאלת המחקר והרקע
המחקר בוחן האם ענישת שונות ההפסדים בין דוגמאות אימון מועילה ללמידה כאשר חלק מהתוויות שגויות. אלגוריתמים עקביים סטטיסטית מתוכננים כך שבתנאים המתאימים, מזעור הסיכון הצפוי על נתונים רועשים מוביל לפתרון המיטבי על נתונים נקיים. אולם בפועל ממזערים ממוצע הפסדים במדגם סופי. שונות גבוהה עשויה להחליש חסמים על הפער בין הממוצע לסיכון הצפוי, ולכן לכאורה כדאי לצמצמה. החוקרים טוענים שהתמקדות בשיקול הזה מפספסת את דינמיקת האימון של רשתות עמוקות. הטענה המרכזית נשענת על אפקט הלמידה המוקדמת והשינון המאוחר: רשתות נוטות ללמוד תחילה דפוסים פשוטים ודוגמאות המתויגות נכון, ובהמשך להתאים את עצמן גם לתוויות שגויות. לכן, במהלך חלק משמעותי מהאימון, הפסדי הדוגמאות השגויות גבוהים יותר. הקטנת השונות עלולה להאיץ דווקא את ירידת ההפסדים שלהן, כלומר לעודד התאמה לרעש. עידוד שונות יכול לשמר את הפער ולעכב שינון מזיק.
השיטה המוצעת והמנגנון
השיטה נקראת VRNL, קיצור של רגולריזציית שונות הפסדים ללמידה עם רעש בתוויות. פונקציית המטרה היא ההפסד הממוצע פחות α כפול שונות ההפסדים, כאשר α חיובי שולט בעוצמת התוספת. בניגוד לרגולריזציה המענישה משקלי מודל גדולים, כאן ההטיה פועלת באמצעות חלוקת ההשפעה של דוגמאות על תהליך האופטימיזציה. בפועל מחשבים את השונות באמצעות ההפסדים הנצפים. גזירת פונקציית המטרה מראה שלכל גרדיאנט של דוגמה מוצמד משקל אפקטיבי: 1 + 2α כפול ההפרש בין ההפסד הממוצע להפסד הדוגמה. דוגמה שהפסדה מתחת לממוצע מקבלת משקל גדול מאחד, ודוגמה שהפסדה מעל הממוצע מקבלת משקל קטן מאחד. זהו ניתוח מתמטי של מנגנון השקלול, אך הזיהוי של הפסד גבוה עם תווית שגויה הוא הנחה התנהגותית ולא ודאות. משקל אף עשוי להפוך לשלילי; החוקרים משתמשים בערכי α קטנים כדי שרוב המשקלים יהיו חיוביים. VRNL שולבה ב־Forward, ב־Reweight, ב־VolMinNet וב־BLTM. שיטות אלה משתמשות במטריצת מעבר המתארת את הקשר בין תוויות נקיות לרועשות, או באומדן מתאים שלה. הרגולריזציה מאפשרת להמשיך להשתמש בכל הדוגמאות במקום לסלק דוגמאות חשודות לחלוטין. החוקרים מציעים גם פרשנות שלפיה שיטות קיימות לבחירת דוגמאות ולשקלולן מעודדות בעקיפין פיזור הפסדים, משום שהן לומדות דוגמאות אמינות יותר ומתמקדות פחות באחרות.
מערך הניסויים
ההערכה כללה את Fashion-MNIST, CIFAR-10 ו־CIFAR-100 עם רעש מלאכותי משלושה סוגים: היפוך סימטרי, היפוך בין זוגות מחלקות ורעש תלוי־מופע שנוצר במנגנון תלוי־חלקים. בנוסף נבדקו תוויות אנושיות רועשות ב־CIFAR-N, תמונות בגדים ב־Clothing1M ותמונות מהאינטרנט ב־WebVision. בניסוי WebVision שימשו 50 המחלקות הראשונות מתת־המאגר של Google, וההערכה כללה גם תמונות מ־ILSVRC12. לכל שיטה בסיסית ולגרסתה המורחבת נשמרה אותה ארכיטקטורה, ובהן ResNet ו־Inception-ResNet. עשרה אחוזים מנתוני האימון הוקצו לאימות רועש, ללא שימוש בנתונים נקיים לאימון או לאימות. בניסויים המלאכותיים α נבחר מתוך שישה ערכים לפי דיוק האימות, וכל ניסוי חזר בשמונה זרעים אקראיים. ב־VolMinNet נוספה העלאה הדרגתית של הרגולריזציה בתחילת האימון, כדי לא לשקלל דוגמאות על בסיס הפסדים שעדיין אינם משקפים אמינות.
תוצאות מרכזיות
התוספת שיפרה את מרבית התוצאות, אך לא את כולן. ב־Fashion-MNIST עם 90% רעש סימטרי, Reweight השתפרה מ־45.63% ל־77.74%, פער של 32.11 נקודות אחוז. ב־CIFAR-100 עם 50% רעש סימטרי, Forward השתפרה מ־43.45% ל־56.49%. ב־CIFAR-10 עם 80% רעש סימטרי, VolMinNet השתפרה מ־56.37% ל־66.65%. אלה שיפורים ביחס לבסיסים שנבדקו, ולא הוכחה לעליונות על כלל השיטות העדכניות בתחום. בנתונים אמיתיים השיפורים היו בדרך כלל מתונים יותר. ב־Clothing1M דיוק Forward עלה מ־71.27% ל־72.43%, ודיוק VolMinNet עלה מ־72.29% ל־72.66%. ב־WebVision דיוק top-1 של VolMinNet עלה מ־72.96% ל־74.16%. לא כל מדדי top-5 בהערכה החיצונית השתפרו. על פני 30 תצורות הנתונים והרעש המלאכותיות, ארבע ההשוואות לשיטות הבסיס נותרו מובהקות לאחר תיקון Holm–Bonferroni. לפי דיווח החוקרים, 84.16% מההשוואות ברמת הזרעים היו מובהקות.
ניתוחים משלימים ומגבלות
מעקב אחר הפסדי האימון תמך בהסבר שלפיו VRNL משמרת הפסדים גבוהים עבור תוויות שגויות, תוך שינוי קטן יחסית בדוגמאות נכונות. בניסויים מסוימים השתפר גם אומדן ההסתברויות של המחלקות הנקיות. הזרקת שגיאה למטריצת המעבר הראתה עמידות טובה יותר ברוב ההשוואות. בבדיקות עם מעט רעש נמצאו שיפורים, ובנתונים נקיים הביצועים נשארו קרובים לבסיס. ניסויי האבלציה תמכו בתועלת של חימום הדרגתי ב־VolMinNet, במיוחד כאשר רמת הרעש גבוהה. היתרון תלוי בכך שדוגמאות שגויות אכן נוטות להציג הפסד גבוה יותר. דוגמאות קשות אך נכונות עלולות לקבל משקל מופחת, במיוחד כאשר הפסדיהן חופפים לאלה של דוגמאות שגויות. בדיקות ייעודיות מצאו הפרדה ממוצעת בין הקבוצות, אך אינן מבטיחות זאת בכל מאגר. גם התאמת מגמות האימות הרועש לדיוק הנקי הודגמה בניסוי מוגבל, ולא הוכחה באופן כללי. הטענה לפגיעה קטנה בעקביות הסטטיסטית מבוססת על ניסויים סינתטיים, לא על משפט שימור עקביות. לבסוף, חיפוש α מוסיף עלות חישובית. המסקנה היא ש־VRNL היא תוספת מבטיחה לשיטות שנבדקו, ולא עיקרון אוניברסלי שלפיו שונות גבוהה תמיד רצויה.
היילייטס
- עידוד שונות גבוהה בהפסדי האימון, במקום ענישתה, שיפר בדרך כלל את ביצועי ארבע השיטות שנבדקו ללמידה עם רעש בתוויות.
- בניתוח הגרדיאנטים, VRNL מחזקת דוגמאות בעלות הפסד נמוך ומחלישה דוגמאות בעלות הפסד גבוה, ולכן עשויה לעכב שינון של תוויות שגויות.
- ב־Fashion-MNIST עם 90% רעש סימטרי, דיוק Reweight עלה מ־45.63% ל־77.74% — שיפור של 32.11 נקודות אחוז.
- בכל ארבע ההשוואות בין שיטה בסיסית לגרסת VRNL נמצא שיפור מובהק על פני 30 תרחישי הבדיקה המלאכותיים, לאחר תיקון להשוואות מרובות.
- השיטה תלויה בהבחנה בין דוגמאות נכונות ושגויות באמצעות ההפסד; אין במאמר הוכחה כללית לשימור העקביות הסטטיסטית לאחר הוספת הרגולריזציה.
שאלות נפוצות
כיצד אפשר לאמן מסווג תמונות כאשר חלק מהתוויות שגויות?
אפשר להפחית את השפעתן של דוגמאות החשודות כמתויגות באופן שגוי, בלי להסיר אותן ממאגר האימון. שיטת VRNL מוסיפה לפונקציית המטרה רכיב שמחזק את תרומתן של דוגמאות בעלות הפסד נמוך ומחליש את תרומתן של דוגמאות בעלות הפסד גבוה. היא נועדה להשתלב בשיטות קיימות ללמידה עם רעש בתוויות, למשל בסיווג תמונות מהאינטרנט או בזיהוי קטגוריות מוצרים.
מדוע הגדלת שונות ההפסדים עשויה לשפר למידה עם תוויות רועשות?
רשתות עמוקות נוטות ללמוד תחילה דפוסים ודוגמאות המתויגות נכון, ורק בהמשך לשנן גם תוויות שגויות. בתקופה זו, לדוגמאות השגויות יש בדרך כלל הפסד גבוה יותר. צמצום השונות עלול לעודד את המודל להקטין גם את הפסדיהן וכך להתאים את עצמו לרעש. עידוד השונות באמצעות VRNL עשוי לשמר את הפער ולעכב שינון מזיק. אין בכך המלצה להגדיל שונות בכל מודל: התועלת תלויה בכך שההפסד אכן מסייע להבחין בין דוגמאות נכונות לשגויות.
מהי ההשפעה של VRNL על דיוק סיווג תמונות?
VRNL שיפרה את הדיוק ברוב התרחישים שנבדקו, אך לא בכולם. ב־Fashion-MNIST עם 90% רעש סימטרי, דיוק שיטת Reweight עלה מ־45.63% ל־77.74% — שיפור של 32.11 נקודות אחוז. בנתונים עם רעש אמיתי השיפורים היו לרוב מתונים יותר: ב־Clothing1M, למשל, דיוק Forward עלה מ־71.27% ל־72.43%. התוצאות מעידות על תועלת ביחס לשיטות הבסיס שנבדקו, ולא על עליונות מוכחת על כלל שיטות הסיווג הקיימות.
כיצד VRNL משנה את פונקציית המטרה ואת משקלי הדוגמאות?
פונקציית המטרה של VRNL היא ההפסד הממוצע פחות שונות ההפסדים כפול מקדם חיובי, α: מטרה = ממוצע ההפסדים − α × שונות ההפסדים מבחינת הגרדיאנטים, כל דוגמה מקבלת משקל אפקטיבי של 1 + 2α × (ההפסד הממוצע − הפסד הדוגמה). לכן, דוגמה שהפסדה נמוך מהממוצע מקבלת משקל גדול מאחד, ודוגמה שהפסדה גבוה מהממוצע מקבלת משקל קטן מאחד. כאשר α גדול מדי, משקלים מסוימים עלולים להפוך לשליליים; בניסויים נעשה שימוש בערכים קטנים כדי שרוב המשקלים יישארו חיוביים.
כיצד משלבים VRNL באימון בלי להשתמש בתוויות נקיות לכוונון?
VRNL שולבה בארבע שיטות: Forward, Reweight, VolMinNet ו־BLTM. בניסויים הוקצו 10% מנתוני האימון לאימות עם תוויות רועשות, ללא שימוש בתוויות נקיות לאימון או לאימות. בניסויים המלאכותיים נבחר α מתוך שישה ערכים לפי דיוק האימות. ב־VolMinNet הוגברה הרגולריזציה בהדרגה בתחילת האימון, כדי להימנע משקלול מוקדם על בסיס הפסדים שעדיין אינם משקפים היטב את אמינות התוויות. כלומר, אין צורך בנתונים נקיים לכוונון, אך עדיין נדרשת בחירה של עוצמת הרגולריזציה.
מהם הסיכונים והמגבלות של הפחתת משקל לדוגמאות בעלות הפסד גבוה?
הפסד גבוה אינו הוכחה לתווית שגויה: גם דוגמה קשה אך נכונה עשויה להציג הפסד גבוה ולקבל משקל מופחת. לכן, יעילות VRNL תלויה במידת ההפרדה בין הפסדי הדוגמאות הנכונות והשגויות במהלך האימון. בנוסף, חיפוש ערך מתאים ל־α מוסיף עלות חישובית. הניסויים סיפקו תמיכה אמפירית לפגיעה קטנה בעקביות הסטטיסטית, אך אין הוכחה כללית לכך שהוספת הרגולריזציה משמרת אותה. לפיכך, יש לבדוק את השיטה בכל מאגר ותרחיש שימוש בנפרד.