זירת AI

רגרסיה בזמן הבדיקה: מסגרת מאחדת לתכנון מודלי רצפים עם זיכרון אסוציאטיבי

מאת Ke Alexander Wang, Jiaxin Shi, Emily B. Fox · פורסם: · עודכן:

המאמר מציע מסגרת מתמטית מאחדת להבנת מודלי רצפים באמצעות זיכרון אסוציאטיבי: תחילה משננים קשרים בין מפתחות לערכים באמצעות רגרסיה על ההקשר הנוכחי, ולאחר מכן שולפים מידע באמצעות הפעלת הרגרסור על שאילתה. שלוש בחירות מגדירות את השכבה: משקל כל קשר, משפחת פונקציות הרגרסיה ואלגוריתם האופטימיזציה. כך נגזרים מנגנוני קשב ליניארי, מודלי מצב מסוימים, DeltaNet, שכבות למידה בזמן הבדיקה וקשב softmax. הניתוח מראה שקשב ליניארי מתעלם ממבנה המתאמים במפתחות, ומסביר כיצד נרמול שאילתות ומפתחות מקשר קשב softmax לרגרסיה מקומית קבועה. החוקרים מציעים קשב מסדר גבוה המבוסס על רגרסיה מקומית ליניארית, ומראים יתרונות במשימות רגרסיה סינתטיות ובמודל שפה קטן על Wikitext-103, בעיקר כשהקשב שטוח מדי. בנוסף, הם מדגימים ששכבה אחת עם קונבולוציה קצרה יכולה להספיק לשליפה אסוציאטיבית כאשר קיבולת הזיכרון מתאימה. התרומה המרכזית היא עיקרון תכנוני מאחד; יעילות חישובית והרחבה למודלים גדולים עדיין דורשות מחקר.

יישומי המאמר

המאמר מציע דרך להבין כיצד מודלי שפה שומרים מידע מתוך ההקשר ומשתמשים בו בהמשך: הם בונים בזמן העיבוד מיפוי בין רמזים לתשובות. למשל, לאחר הופעת שם וקוד המשויך אליו, המודל צריך לשלוף את הקוד כשהשם מופיע שוב. זו מסגרת לתכנון מודלים, ולא מוצר חדש או שיטת אימון מוכחת לשיפור כל מודל קיים. למפתחי מודלים, המסגרת מסייעת לבחור בין זיכרון דחוס וחסכוני לבין שמירת ההקשר המלא, ולהחליט אילו פרטים לשכוח וכיצד לעדכן את הזיכרון. יישומים אפשריים כוללים מודלי שפה יעילים, חיזוי סדרות זמן ומערכות המתאימות את עצמן למידע משתנה במהלך השימוש. המחקר גם מציע מנגנון קשב מתקדם שעמיד יותר לבחירה לא מיטבית של חדות הקשב. עם זאת, היתרון הודגם במודל שפה קטן, והמנגנון יקר חישובית. לכן המשמעות המעשית כיום היא בעיקר כיוון מחקרי וכלי להבנת ארכיטקטורות, ולא חלופה מוכנה לפריסה למנגנון הקשב המקובל.

פירוט המאמר

שאלת המחקר והרעיון המאחד

מודלי רצפים התפתחו למשפחות רבות, ובהן Transformers, קשב ליניארי, מודלי מרחב מצב ושכבות למידה מקוונת. המאמר שואל אם אפשר להבין חלק נרחב מהן באמצעות עיקרון משותף, במקום כאוסף פתרונות נפרדים. נקודת המוצא היא חשיבותה של שליפה אסוציאטיבית: היכולת לקשר רמז למידע שהופיע קודם בהקשר. לדוגמה, לאחר הופעת צמד מילים בלתי מוכר, אפשר לנבא את המילה השנייה כשהראשונה חוזרת. החוקרים מציעים לראות שכבות כאלה כמערכות המבצעות שינון ושליפה באמצעות רגרסיה בתוך מעבר החישוב הקדמי.

המסגרת: שינון כרגרסיה ושליפה כהערכה

בשלב השינון, זוגות מפתח–ערך מתוך הרצף משמשים כנתוני רגרסיה. מחפשים פונקציה הממזערת סכום משוקלל של שגיאות ריבועיות בין הערכים המקוריים לערכים שהיא מנבאת עבור המפתחות. בשלב השליפה מפעילים את הפונקציה על שאילתה ומקבלים את פלט השכבה. במודל סיבתי משתמשים רק בזוגות שנצפו עד הצעד הנוכחי. המונח רגרסיה בזמן הבדיקה מתייחס לכך שהזיכרון נבנה מחדש מתוך הקלט בכל מעבר, ולא בהכרח לעדכון הפרמטרים הקבועים של המודל. המסגרת מתאימה גם למספר ראשי קשב ולמשימות שאינן סיבתיות. המתכון הארכיטקטוני כולל שלוש בחירות: החשיבות היחסית של כל זוג, משפחת פונקציות הזיכרון ושיטת המזעור. משקלים אחידים מעודדים שימור שווה של ההיסטוריה; משקלים דועכים נותנים עדיפות למידע חדש; ומשקלים התלויים בדמיון לשאילתה מגדירים זיכרון מקומי. פונקציות הזיכרון יכולות להיות ליניאריות, מבוססות מיפוי תכונות לא ליניארי, רשתות עצביות או אומדים לא פרמטריים. אפשר לפתור את בעיית הרגרסיה אנליטית או להתקרב לפתרון באמצעות צעדי אופטימיזציה.

כיצד נגזרות ארכיטקטורות קיימות

ברגרסיה ליניארית, הפתרון המלא כולל תיקון באמצעות ההופכי של מטריצת המכפלות בין ממדי המפתחות. קשב ליניארי מתקבל כשמשמיטים תיקון זה, או באופן שקול מבצעים צעד יחיד של ירידת גרדיאנט על כל הדוגמאות, מאתחול אפס. לכן הוא אינו מתחשב במבנה המתאמים במפתחות, והדבר עלול לפגוע בשליפה ולגרום לגדילת הפלט עם אורך הרצף. פתרון ריבועים פחותים מלא, הניתן לעדכון באמצעות רגרסיה רקורסיבית, משפר את השינון אך מוסיף עלות חישובית ורגישות למערכות שאינן מותנות היטב. משקלים הדועכים לאורך הזמן מובילים לרגרסיה משוקללת. אותה השמטה של תיקון המתאמים מפיקה קשב ליניארי עם שער שכחה, ובכך מקשרת למסגרת ארכיטקטורות כגון RetNet, GLA ו־Mamba-2. DeltaNet נגזר במקום זאת מצעד גרדיאנט על זוג אחד בכל צעד זמן, המתקן את ההפרש בין הערך החדש לערך שהזיכרון כבר מנבא. Longhorn מתאים לעדכון עם גודל צעד אדפטיבי, Gated DeltaNet לרגרסיה עם רגולריזציית L2 בפרמטריזציה שקולה, ו־Titans לעדכונים הכוללים מומנטום. רגרסורים עצביים לא ליניאריים מחברים את המסגרת לשכבות TTT.

קשב softmax והכללה מסדר גבוה

המאמר מבחין בין רגרסיית גרעין לבין רגרסיה מקומית. קשב מעריכי ללא נרמול ניתן להבנה כקירוב לרגרסיית גרעין, אך קשב softmax המנורמל מתקבל ישירות מרגרסיה מקומית קבועה: לכל שאילתה מוצאים ערך קבוע המתאים בצורה מיטבית לערכים סמוכים, לפי משקלי דמיון. כאשר השאילתות והמפתחות מנורמלים לאורך יחידה, גרעין המבוסס על מרחק ריבועי שקול, עד גורם המתבטל בנרמול, לגרעין המכפלה הפנימית. זהו הסבר מתמטי ל־QKNorm במסגרת פרשנות זו, ולא טענה שכל מנגנון קשב חייב להשתמש בו. מכאן החוקרים מציעים להחליף את הקירוב המקומי הקבוע בקירוב ליניארי. הפלט החדש הוא ממוצע הקשב הרגיל בתוספת תיקון המבוסס על השיפוע המקומי ועל מיקום המפתחות ביחס לשאילתה. בניגוד לקשב הרגיל, הפתרון כולל גם מבנה מתאמים בין המפתחות. היתרון הצפוי הוא הפחתת הטיה כאשר שכונת הקשב רחבה מדי. החיסרון הוא הצורך בפתרון מערכות ליניאריות לכל שאילתה ובחישוב סטטיסטיקות יקרות; המימוש הישיר אינו מעשי למודלים גדולים ללא אופטימיזציות חומרה.

בניית זוגות יעילים וניסויי שליפה

החוקרים מדגישים שאיכות הזיכרון תלויה גם בנתונים שמזינים אליו. קונבולוציה קצרה יכולה להזיז את המפתח צעד אחד לאחור, כך שהשכבה משננת קשרים בין הטוקן הקודם לנוכחי. הם מראים ששכבה יחידה עם פעולה זו מספיקה עקרונית למשימת MQAR, ללא בלוק רשת נוסף, כאשר הייצוג מאפשר להבחין בקשרים. בניסוי עם ממד ייצוג 64, קשב ליניארי פתר את המשימה עם 64 זוגות לאורך רצפים של 512–4096 טוקנים. עם 128 זוגות ביצועיו ירדו, בעוד רגרסיה רקורסיבית השיגה הצלחה מלאה. המסקנה מוגבלת למשימה הנייחת שנבדקה: קיבולת השינון חשובה יותר מהאורך לבדו.

אימות אמפירי ומגבלות

בניסויי רגרסיה סינתטיים נבדקו רצפים באורך 256 עם 64 ממדי מפתח ושינוי בדינמיקה באמצע הרצף. בהשוואה בין ממדים בלתי מתואמים למתואמים, היתרון של רגרסיה רקורסיבית על קשב ליניארי גדל בנוכחות מתאמים. עם זאת, ללא שכחה גם הרגרסיה הרקורסיבית התקשתה להסתגל לשינוי. אומדים מקומיים הסתגלו טוב יותר כאשר המפתחות החדשים היו שונים מהישנים, והקשב הליניארי המקומי הציג יתרון. התוצאות מוצגו כממוצע על עשרה אתחולים אקראיים, לצד בסיסי השוואה של חיזוי נאיבי ו־GRU הלומד באופן מקוון. בניסוי שפה על Wikitext-103 אומן Transformer מינימלי בעל שכבה אחת וראש קשב אחד, עם QKNorm והזזת מפתחות, על כ־104 מיליון טוקנים. על פני שלושה אתחולים, הקשב מסדר גבוה שיפר את הפסד האימות בכ־0.35 נאט כשהטמפרטורה יצרה קשב שטוח מדי. כשהקשב נעשה חד, שתי השיטות התכנסו לביצועים דומים. הסרת הזזת המפתחות פגעה בשתיהן. המחקר הוא בעיקר תאורטי, עם אימות ניסויי ממוקד: הוא מאחד ארכיטקטורות ומשתמש בידע קלאסי ברגרסיה כדי להציע חדשות, אך אינו מוכיח יתרון בקנה מידה גדול ואינו מכסה את כל משפחות מודלי הרצפים.

היילייטס

  • שלוש בחירות — משקלי רגרסיה, משפחת הרגרסור ואלגוריתם האופטימיזציה — מאחדות מגוון שכבות רצפים תחת מסגרת של שינון ושליפה.
  • קשב ליניארי שקול לצעד יחיד של ירידת גרדיאנט על רגרסיה ריבועית, ואינו מתקן את השפעת המתאמים במפתחות כפי שעושה פתרון ריבועים פחותים מלא.
  • נרמול שאילתות ומפתחות מאפשר לפרש קשב softmax בדיוק כרגרסיה מקומית קבועה המבוססת על מרחק.
  • קשב המבוסס על רגרסיה מקומית ליניארית הפחית את הפסד השפה בכ־0.35 נאט כאשר הקשב היה שטוח מדי; בקשב חד, הביצועים היו דומים לקשב הרגיל.
  • בניסוי השליפה האסוציאטיבית, שכבה אחת וקונבולוציה קצרה הספיקו להצלחה מלאה כאשר הקיבולת התאימה; התוצאה אינה הוכחה כללית לאורך הקשר בלתי מוגבל.

שאלות נפוצות

כיצד מודלי שפה זוכרים מידע מההקשר ושולפים אותו בהמשך?

אפשר להבין את התהליך כזיכרון אסוציאטיבי: המודל בונה קשרים בין מפתחות לערכים, למשל בין שם לקוד המשויך אליו, ומשתמש בהם כשהשם מופיע שוב. במסגרת רגרסיה בזמן הבדיקה, זוגות מתוך ההקשר משמשים להתאמת פונקציית זיכרון, והפעלתה על שאילתה מאפשרת לשלוף מידע. הזיכרון נבנה מתוך הקלט במהלך החישוב, ולא מחייב עדכון של הפרמטרים הקבועים של המודל.

כיצד אפשר לתכנן מודלי רצפים עם זיכרון יעיל יותר?

המסגרת מציעה שלוש החלטות תכנוניות: איזה משקל לתת לכל קשר בזיכרון, באיזו משפחת פונקציות להשתמש לשמירת המידע, וכיצד לפתור את בעיית הרגרסיה. משקלים דועכים, למשל, מעניקים עדיפות למידע חדש; משקלים התלויים בשאילתה מתמקדים במידע הרלוונטי לשליפה הנוכחית. החלטות אלה מסייעות לבחון את הפשרה בין זיכרון דחוס וחסכוני לבין שמירת ההקשר המלא. זו מסגרת לתכנון ולהבנת ארכיטקטורות, ולא שיטת שיפור מוכחת לכל מודל קיים.

האם הקשר ארוך יותר בהכרח מקשה על שליפת מידע?

לא בהכרח: גם מספר הקשרים שצריך לזכור וקיבולת הזיכרון קובעים את הצלחת השליפה. בניסוי שליפה אסוציאטיבית, קשב ליניארי עם ממד ייצוג 64 הצליח לזכור 64 זוגות לאורך רצפים של 512–4096 טוקנים. כאשר מספר הזוגות עלה ל־128, ביצועיו ירדו, בעוד רגרסיה רקורסיבית השיגה הצלחה מלאה. הממצא מראה שבמשימה שנבדקה, קיבולת השינון חשובה יותר מאורך הרצף לבדו; הוא אינו מוכיח יכולת להתמודד עם הקשר בלתי מוגבל.

מדוע מתאמים בין מפתחות עלולים לפגוע בקשב ליניארי?

קשב ליניארי שקול לצעד יחיד של ירידת גרדיאנט על בעיית רגרסיה ריבועית, מאתחול אפס. בניגוד לפתרון ריבועים פחותים מלא, הוא אינו כולל תיקון המביא בחשבון את מבנה המתאמים בין ממדי המפתחות. השמטת התיקון עלולה לפגוע בדיוק השליפה ולגרום לגדילת הפלט עם אורך הרצף. בניסויים הסינתטיים, יתרונה של רגרסיה רקורסיבית גדל בנוכחות מתאמים, אך היא מוסיפה עלות חישובית ורגישות למערכות שאינן מותנות היטב.

כיצד קשב softmax קשור לרגרסיה מקומית?

אפשר לפרש קשב softmax כרגרסיה מקומית קבועה: עבור כל שאילתה מחושב ממוצע משוקלל של הערכים, כאשר מפתחות דומים מקבלים משקל גבוה יותר. כאשר השאילתות והמפתחות מנורמלים לאורך יחידה, משקלי דמיון המבוססים על מרחק ריבועי שקולים למשקלי המכפלה הפנימית לאחר הנרמול. הקשר הזה מספק בסיס מתמטי להכללת הקשב: במקום להתאים ערך קבוע בסביבת השאילתה, אפשר להתאים פונקציה ליניארית מקומית.

מה ההשפעה של קשב מסדר גבוה על ביצועי מודלי שפה?

קשב מסדר גבוה המבוסס על רגרסיה מקומית ליניארית מוסיף לממוצע הקשב תיקון המתחשב בשיפוע המקומי ובמתאמים בין המפתחות. בניסוי במודל שפה קטן על Wikitext-103, הוא הפחית את הפסד האימות בכ־0.35 נאט כאשר הקשב היה שטוח מדי. כשהקשב היה חד, הביצועים היו דומים לקשב הרגיל. המנגנון דורש פתרון מערכות ליניאריות לכל שאילתה, ולכן הוא עדיין כיוון מחקרי ולא חלופה מוכנה לפריסה במודלים גדולים.

מחקרים קשורים