מסלול החדירה: כיצד הקשר שאינו ראייתי פוגע בביצועי מודלי שפה
מאת Dikshant Kukreja, Gautam Gupta, Avni Mittal, Avinash Anand, Kritarth Prasad, Zhengkui Wang, Timothy Liu, Rajiv Ratn Shah, Aik Beng Ng, Simon See, Erik Cambria · פורסם: · עודכן:
מודלי שפה נעשים פחות מדויקים כשהפרומפט כולל הקשר שאינו נוגע לשאלה, כמו משפטים מתחומים אחרים או טוקנים אקראיים. הבעיה מופיעה במערכות RAG, במערכות שמשתמשות בכלים ובהקשרים ארוכים, אך עד כה לא היה לה הסבר מכניסטי, כלומר הסבר ברמת החישוב הפנימי של המודל. החוקרים מתארים תהליך שהם מכנים "מסלול החדירה": שכבות MLP מחזקות גם את נושא השאלה וגם את הטוקנים הלא רלוונטיים, וראשי attention מסוג parroting מעבירים תוכן מהקידומת אל נקודת החיזוי. הם מאתרים קבוצה קטנה של "ראשי חדירה" שאחראים לחלק מההפרעה. נטרול של כעשרה ראשים בלבד, כ-1% מראשי ה-attention במודל, שחזר 57% מהירידה בביצועים, במחיר מוגבל לשימוש בהקשר מועיל. בדיקת אורקל, שאינה ישימה בפועל, שחזרה 97.6% מהירידה.
יישומי המאמר
מי שבונה מערכות RAG, סוכנים עם כלים או אפליקציות עם הקשר ארוך מכיר את הבעיה: מידע לא רלוונטי בפרומפט פוגע בתשובות. המחקר מסביר מה קורה בתוך המודל, ומציע התערבות שמנטרלת כעשרה ראשי attention ומשחזרת 57% מהפגיעה. עם זאת, זו התערבות במנגנון הפנימי של המודל, שמתאימה לצוותים שמריצים מודלים פתוחים ויכולים לשנות אותם, ולא למי שעובד מול API סגור. בטווח הקרוב הערך המעשי הוא בעיקר הבנה: צמצום הקשר לא רלוונטי בפרומפט נשאר צעד חשוב, והמחקר מצביע על כיוון לפתרון ממוקד בהמשך.
פירוט המאמר
על סמך תקציר המאמר:
הבעיה
הקשר שאינו נוגע לשאלה, כמו משפטים מתחומים אחרים או טוקנים אקראיים, פוגע בדיוק של מודלי שפה, גם כשאין בו תשובה מתחרה. הבעיה מופיעה במערכות RAG, במערכות עם כלים ובהקשרים ארוכים.
השיטה
החוקרים ניתחו את החישוב בתוך המודל ותיארו "מסלול חדירה": שכבות MLP מחזקות גם את נושא השאלה וגם את הטוקנים הלא רלוונטיים, ראשי attention מסוג parroting מעבירים תוכן מהקידומת לנקודת החיזוי, ורכיבי קריאה יחסיים מתעלמים ברובם מהחומר הלא קשור.
הממצאים
חלק מההפרעה מרוכז בקבוצה קטנה של "ראשי חדירה". הם עוברים בין משימות וסוגי הסחה, ונפרדים ברובם מהראשים שמשלבים ראיות רלוונטיות. החלפת המצב הפנימי (residual) של הטוקן האחרון בגרסה נקייה, בדיקת אורקל, שחזרה בממוצע 97.6% מהירידה בארבע משימות. נטרול ישים של כעשרה ראשים, כ-1% מהראשים, שחזר 57%, במחיר מוגבל להקשר מועיל.
למה זה חשוב
המחקר מציע הסבר מכניסטי ונקודת התערבות ממוקדת לבעיה נפוצה במערכות מבוססות הקשר.
היילייטס
- החוקרים מתארים "מסלול חדירה" שבו שכבות MLP מחזקות גם את נושא השאלה וגם טוקנים לא רלוונטיים, וראשי attention מסוג parroting מעבירים תוכן מהקידומת לנקודת החיזוי.
- קבוצה קטנה של "ראשי חדירה" אחראית לחלק מההפרעה. הם עוברים בין משימות וסוגי הסחה, ונפרדים ברובם מהראשים שמשלבים ראיות רלוונטיות.
- לפי הניתוח, ההחלשה של התשובה הנכונה נובעת בעיקר מירידה בתרומה של מקורות שאינם הקידומת, ולא מדיכוי פעיל מצד הקידומת.
- בדיקת אורקל, שמחליפה את המצב הפנימי של הטוקן האחרון בגרסה נקייה, שחזרה בממוצע 97.6% מהירידה בארבע משימות.
- נטרול ישים של כעשרה ראשים, כ-1% מראשי ה-attention, שחזר 57% מהירידה, במחיר מוגבל לשימוש בהקשר מועיל.
שאלות נפוצות
למה הקשר לא רלוונטי פוגע בתשובות של מודל שפה?
לפי המחקר, שכבות MLP מחזקות גם את הטוקנים הלא רלוונטיים, וראשי attention מסוימים מעבירים את התוכן שלהם אל נקודת החיזוי ומקדמים תוכן שקשור להסחה.
מהם ראשי חדירה?
קבוצה קטנה של ראשי attention שכותבים מידע שנגזר מהקידומת ומקדם תוכן שקשור להסחה. הם עוברים בין משימות ובין סוגי הסחה.
האם אפשר לתקן את הבעיה בלי לפגוע בשימוש בהקשר מועיל?
באופן חלקי. נטרול של כעשרה ראשים, כ-1% מראשי ה-attention, שחזר 57% מהירידה במחיר מוגבל להקשר מועיל, משום שראשי החדירה נפרדים ברובם מהראשים שמשלבים ראיות רלוונטיות.
באילו מערכות הבעיה הזו מופיעה?
במערכות RAG, במערכות שמשתמשות בכלים ובמערכות שעובדות עם הקשר ארוך.