זירת AI

מדוע מודלי טרנספורמר „קלאסיים” הם רדודים — וטכניקה המאפשרת לבנות מודלים עמוקים יותר

מאת Yueyao Yu, Yin Zhang · פורסם: · עודכן:

המחקר בוחן מדוע קשה לאמן טרנספורמרים עמוקים מהתכנון המקורי, שבו נרמול השכבות מתבצע אחרי חיבורי השארית. ההסבר המרכזי הוא הסלמה בדמיון בין טוקנים: לאחר שכבות קשב חוזרות, ייצוגים שאמורים לתאר פריטים שונים נעשים דומים מאוד, ולכן מאבדים מכושר ההבחנה שלהם. החוקרים מגדירים מדד כמותי לתופעה ומנתחים את התפתחותו תחת אתחול אקראי. הם מקשרים את ההסלמה לתכונות הספקטרליות של מטריצות הקשב, ומראים שבתנאים המתאימים גיוון הייצוגים דועך בקצב גאומטרי, המתקרב במצב הסטנדרטי לחצייה בכל שכבה. כפתרון מוצעת פעולה פשוטה: החסרת חלק מהממוצע של ייצוגי הטוקנים בכל שכבה, במקום החלשה כללית של הקשב. בניסויי היתכנות, השיטה שיפרה אימון של מודל ראייה בעומק 80 שכבות ושל Transformer-XL בעומק 60 שכבות, והניבה ביצועים דומים לארכיטקטורת קדם־נרמול. עם זאת, התאוריה עוסקת בעיקר באתחול, והיעילות באימון מודלי שפה גדולים עדיין לא נבדקה.

יישומי המאמר

למפתחי מודלים, המאמר מציע דרך פשוטה יחסית להתמודד עם מצב שבו הוספת שכבות אינה משפרת את המודל ואף מקשה על האימון: להפחית בכל שכבה את הרכיב המשותף לייצוגי הטוקנים. המטרה היא לשמר הבדלים בין מילים או מקטעי תמונה, בלי להקטין באופן גורף את תרומת מנגנון הקשב. מבחינה אבחונית, המחקר מציע למדוד לא רק את גודל הגרדיאנטים אלא גם את הדמיון בין ייצוגי הטוקנים לאורך הרשת. כך אפשר לזהות אובדן של גיוון בייצוגים גם כאשר מדדי הגרדיאנט נראים יציבים. זהו כיוון ניסויי לתכנון ארכיטקטורות, ולא שדרוג מוכח למודלי שפה גדולים קיימים. התוצאות המעשיות הוצגו בשני ניסויי אימון מוגבלים; התאמה למודלים גדולים ולמערכות יצירה סיבתיות דורשת בדיקות נוספות, לרבות שמירה על מגבלות הגישה למידע עתידי.

פירוט המאמר

שאלת המחקר והרקע

המאמר עוסק בקושי להעמיק טרנספורמרים מהארכיטקטורה המקורית, המכונה Post-LN: נרמול השכבות מתבצע לאחר חיבורי השארית של הקשב ושל הרשת הקדמית. אף שטרנספורמרים מצליחים במשימות רבות, הוספת שכבות באותו תכנון אינה מבטיחה מודל שניתן לאמן היטב. החוקרים מתמקדים בהסלמת דמיון בין טוקנים, TSE: מצב שבו ייצוגי מילים או מקטעי תמונה נעשים דומים יותר עם העומק. לטענתם, תהליך זה הוא מנגנון מרכזי באובדן כושר הייצוג של מודלים עמוקים. המחקר נפתח בבדיקה של BERT ו־ALBERT בעומק 100 שכבות, באתחול ברירת המחדל של Hugging Face. בשניהם, מדד הדמיון המוצע והדמיון הקוסינוסי מתקרבים לערך המרבי עם התקדמות השכבות. ב־BERT נורמת הגרדיאנט נשארת יציבה יחסית. התצפית ממחישה שאובדן ההבדלים בין הטוקנים יכול להתקיים גם ללא דעיכה או התפוצצות ניכרת של נורמות הגרדיאנטים; עם זאת, היא אינה שוללת בעיות גרדיאנט אחרות או גורמים נוספים לקשיי האימון.

המדד והמסגרת המתמטית

עבור מטריצת ייצוגים X, ששורותיה הן טוקנים, מוגדרת ההטלה Π₁ = 11ᵀ/n. היא מחליפה כל שורה בממוצע השורות, ולכן מבודדת את הרכיב המשותף לכל הטוקנים. הדמיון מוגדר כיחס בין האנרגיה של רכיב זה לאנרגיה הכוללת, באמצעות נורמת פרובניוס בריבוע. הגיוון הוא היחס המשלים, וסכומם אחד. דמיון השווה לאחד פירושו שכל השורות זהות. בניגוד לדרגת מטריצה, המדד רציף ויכול לתאר הידרדרות הדרגתית גם לפני קריסה מלאה. מוקד הניתוח הוא פעולת קשב עם שארית, Y = X + αPXW, כאשר P היא מטריצת קשב שסכום כל שורה בה הוא אחד, W היא מטריצת משקולות אקראית, ו־α קובע את עוצמת ענף הקשב. החוקרים משווים את הגדילה היחסית של הרכיב המשותף לזו של הרכיב המבחין בין טוקנים. כאשר הראשון גדל מהר יותר, הגיוון היחסי קטן. התוצאות נגזרות בעיקר עבור משקולות בלתי תלויות בעלות תוחלת אפס, ובמשפט המרכזי נדרשות הנחות תת־גאוסיות ורוחב ייצוג גדול מספיק.

מדוע הדמיון מתגבר ובאיזה קצב

האינטואיציה דומה לשיטת החזקה באלגברה ליניארית: לכל מטריצת קשב סטוכסטית מתקיים P1 = 1, ולכן כיוון הייצוג האחיד נשמר. כאשר יתר הכיוונים נחלשים יחסית, הפעלות חוזרות מעדיפות את הרכיב המשותף. החוקרים קושרים זאת למרחב עצמי מוביל משותף ולפערים ספקטרליים גדולים. עבור מטריצות סימטריות הקשר מנוסח ישירות באמצעות הערך העצמי השני; במקרה הכללי החסם תלוי גם בנורמה אופרטורית ובאיבר המתאר ערבוב בין הרכיבים. בתנאים המפורטים במאמר, תוחלת יחס הגיוון לפני הפעולה לגיוון אחריה גדולה מאחד. ככל שהדמיון כבר גבוה, ההסלמה מתחזקת. עבור α = 1, הניתוח מצביע על קצב מקומי של התקרבות הדמיון לאחד המתקרב לחצי: כלומר, הגיוון הנותר קטן בקירוב פי שניים בכל שכבה. זהו קצב גאומטרי, המכונה התכנסות ליניארית במינוח מתמטי. הניתוח מורחב לקשב מרובה ראשים באמצעות ממוצע הגדלים הרלוונטיים על פני הראשים.

אימות וההשוואה לקדם־נרמול

בניסויי אתחול בטרנספורמר ראייה עם 64 טוקנים, רוחב 512 ושמונה ראשי קשב, הדמיון התקרב לאחד לפני השכבה ה־15. ממוצעים על פני 50 הרצות, ובניסוי נוסף 1,000 דגימות של משקולות הקשב, תאמו בקירוב את תחזיות הקצב. נרמול השכבות והרשתות הקדמיות כמעט שלא שינו את הדינמיקה בניסויים אלה. הטיעונים לגביהן נשענים על שימור ייצוגים אחידים ועל שיקולים מבניים, ואינם הוכחה כללית לכך שאינן משפיעות על דמיון בכל מצב. המאמר בוחן גם Pre-LN, שבו הנרמול מקדים את תתי־השכבות. באתחול, נורמת זרם השארית גדלה בתוחלת, בעוד שהקלט המנורמל לקשב נשאר בקנה מידה קבוע. לפי ההסבר המוצע, כך תרומת הקשב נעשית קטנה יחסית לשארית וההסלמה מואטת. מדידות ב־Qwen2 וב־Llama2 מציגות דמיון הנשאר מתחת ל־0.8 לאחר כ־40 שכבות. אלו מדידות אבחוניות, לא ניסויי אימון של השיטה החדשה במודלים אלה.

פעולת התיקון והתוצאות המעשיות

הפתרון הוא Y = (I − τΠ₁)X: מכל טוקן מחסירים חלק מהממוצע על פני הטוקנים. הפרמטר τ שולט בעוצמת ההסרה; כאשר הוא אחד מתקבל מרכוז מלא של כל עמודה. הפעולה מכוונת לרכיב המשותף עצמו, במקום להקטין באופן גורף את ענף הקשב. בניסוי דינמיקה בעומק 40 שכבות, ערכים סביב 0.4 ומעלה מנעו את קריסת הגיוון שנצפתה ללא התיקון. בניסויי האימון העיקריים נבחר τ = 1 ללא כוונון. ב־CIFAR10 אומן ViT בעומק 80 שכבות במשך 150 אפוקים. התיקון נוסף בסוף כל בלוק והפחית משמעותית הפסדי אימון ובדיקה לעומת Post-LN רגיל, עם תוצאות קרובות ואף מעט טובות מ־Pre-LN באותו ניסוי. ב־WikiText-103 נבדק Transformer-XL בעומק 60 שכבות וכ־201 מיליון פרמטרים, כשהתיקון נוסף לקלט הרשת הקדמית. במשך 50 אלף צעדים, הגרסה המתוקנת ו־Pre-LN למדו באופן דומה, ואילו Post-LN הרגיל כמעט שלא התקדם והופסק מוקדם.

מגבלות ומשמעות

הניסויים בוצעו על GPU יחיד והתוצאות דווחו כממוצעים של שלוש הרצות לפחות. היקפם מוגבל, ובניסוי הראייה אף נעשה שימוש בקצב למידה שונה לבסיס Post-LN כדי לאפשר התקדמות. התאוריה מתמקדת באתחול אקראי ולא מתארת במלואה משקולות שהתפתחו באימון. לכן התרומה היא שילוב של הסבר כמותי לתופעה ופתרון פשוט שהודגם כהוכחת היתכנות, ולא הכרעה שכל קשיי העומק נובעים ממנה. יעילות השיטה באימון מודלי שפה גדולים נותרת שאלה פתוחה.

היילייטס

  • קשב עצמי עם חיבור שארית עלול להגביר את הדמיון בין טוקנים גם כאשר נורמות הגרדיאנטים אינן דועכות או מתפוצצות.
  • הניתוח קושר את ההסלמה למרחב עצמי מוביל משותף ולפערים ספקטרליים במטריצות הקשב; בתנאים המתאימים קצב דעיכת הגיוון מתקרב לחצי בכל שכבה.
  • הפתרון המוצע מחסיר מכל טוקן חלק מהממוצע על פני הטוקנים, וכך מסיר ישירות רכיב משותף בלי להחליש באופן גורף את הקשב.
  • בניסויים עם 80 שכבות ב־ViT ו־60 שכבות ב־Transformer-XL, התיקון שיפר משמעותית את האימון לעומת Post-LN רגיל והשתווה בקירוב ל־Pre-LN.
  • מדובר בהוכחת היתכנות מוגבלת: אין עדיין אימות של השיטה באימון מודלי שפה גדולים או הוכחה שהיא פותרת את כלל קשיי העומק.

שאלות נפוצות

מדוע הוספת שכבות לטרנספורמר לא תמיד משפרת את המודל?

בטרנספורמרים בתצורת Post-LN, שבה הנרמול מתבצע אחרי חיבורי השארית, שכבות קשב חוזרות עלולות להפוך ייצוגים של טוקנים שונים לדומים מאוד. תופעה זו, המכונה הסלמת דמיון בין טוקנים (TSE), מצמצמת את יכולת המודל להבחין בין מילים או מקטעי תמונה. היא עשויה להתרחש גם כשנורמות הגרדיאנטים נשארות יציבות יחסית, ולכן בדיקת גרדיאנטים בלבד אינה מספיקה לאבחון קשיי העומק.

כיצד אפשר לצמצם קריסת ייצוגים בטרנספורמרים עמוקים?

הטכניקה המוצעת מחסירה מכל ייצוג טוקן חלק מהממוצע של ייצוגי הטוקנים. כך היא מפחיתה ישירות את הרכיב המשותף להם, במטרה לשמר הבדלים ביניהם בלי להחליש באופן גורף את מנגנון הקשב. בניסויי היתכנות, התיקון שיפר את האימון של טרנספורמר ראייה בעומק 80 שכבות ושל Transformer-XL בעומק 60 שכבות, והניב ביצועים קרובים לאלה של קדם־נרמול, Pre-LN.

האם השיטה כבר הוכחה כיעילה לאימון מודלי שפה גדולים?

לא. התוצאות המעשיות מבוססות על שני ניסויי אימון מוגבלים, ולא על אימון מודלי שפה גדולים בקנה מידה עכשווי. ניסוי השפה נערך ב־Transformer-XL עם כ־201 מיליון פרמטרים. מדידות ב־Qwen2 וב־Llama2 שימשו לאבחון דמיון בין טוקנים, ולא לבדיקת אימון בשיטה החדשה. התאמת התיקון למודלים סיבתיים מחייבת גם לוודא שחישוב הממוצע אינו חושף טוקנים למידע עתידי.

כיצד מודדים אובדן גיוון בין ייצוגי טוקנים לאורך הרשת?

המדד מפריד את מטריצת הייצוגים לרכיב משותף לכל הטוקנים ולרכיב המבטא הבדלים ביניהם. הדמיון מוגדר כיחס בין האנרגיה של הרכיב המשותף לאנרגיה הכוללת, באמצעות נורמת פרובניוס בריבוע; הגיוון הוא היחס המשלים. דמיון השווה לאחד מציין שכל ייצוגי הטוקנים זהים. מעקב אחר המדד לאורך השכבות מאפשר לזהות הידרדרות הדרגתית, גם לפני קריסה מלאה וגם כאשר נורמות הגרדיאנטים נראות תקינות.

מדוע קשב עצמי עלול לגרום לגיוון הייצוגים להצטמצם בכל שכבה?

מטריצת קשב שסכום כל שורה בה הוא אחד משמרת את הכיוון המשותף לכל הטוקנים. כאשר הכיוונים המבחינים ביניהם נחלשים יחסית אליו, הפעלות קשב חוזרות מגבירות את הדמיון. הניתוח קושר את התהליך לתכונות הספקטרליות של מטריצות הקשב. תחת הנחות האתחול והתנאים המתמטיים שנבדקו, הגיוון עשוי לדעוך בקצב גאומטרי המתקרב לחצייה בכל שכבה. אין פירוש הדבר שקצב זה מתקיים בכל מודל או לאורך כל האימון.

מה ההבדל בין קדם־נרמול לבין החסרת ממוצע הטוקנים?

קדם־נרמול, Pre-LN, מציב את הנרמול לפני תתי־השכבות. לפי ההסבר המוצע, באתחול זרם השארית גדל בעוד שהקלט המנורמל לקשב נשאר בקנה מידה קבוע, ולכן תרומת הקשב נעשית קטנה יחסית והסלמת הדמיון מואטת. החסרת הממוצע פועלת ישירות על הרכיב המשותף: (Y=(I-\tau\Pi_1)X), כאשר (\tau) קובע את עוצמת ההסרה. בניסויי האימון נבחר (\tau=1), כלומר מרכוז מלא, אך טרם הוכח שזו הבחירה המתאימה לכל ארכיטקטורה ומשימה.

מחקרים קשורים