בחינת דפוסי ההיסק של מודלי שפה גדולים כאינטראקציות סמליות
מאת Lei Cheng, Wen Shen, Quanshi Zhang, Yuchen Huang, Yiming Zhang, Yuxiao Yang, Mingjie Li · פורסם: · עודכן:
המחקר בוחן האם ניתן להסביר תחזית של מודל שפה גדול באמצעות מספר קטן של יחסי גומלין סמליים בין מילים, במקום לייחס חשיבות לכל מילה בנפרד. החוקרים בונים מודל הסברי המבוסס על קשרי AND ו־OR, ומשווים את תחזיותיו לציוני המודל המקורי בכל צירופי ההסתרה של מילים נבחרות. בניסויים, כ־50–100 אינטראקציות בולטות הספיקו לעיתים קרובות לקירוב טוב, כאשר התוצאות המוצגות השתפרו עם שימוש ביותר מ־100 אינטראקציות. אינטראקציות פשוטות נטו להיות משותפות יותר למודלים שונים ויציבות יותר בין ניסוחים דומים; אינטראקציות מורכבות בלטו יותר בהבחנות תוכן עדינות ובשכבות עמוקות. ניתוחי מקרה הדגימו כיצד השיטה עשויה לחשוף הסתמכות על מידע מסיח, אסוציאציות מוטות ורגישות לניסוח. ניסויי גיזום הצביעו על קשר בין פגיעה באינטראקציות פשוטות לבין ירידה חדה בביצועים. עם זאת, ההסברים מקומיים, תלויים בהסתרה ובבחירת המילים, ואינם מוכיחים חשיפה של מנגנון החשיבה הפנימי או של סיבות ההזיה.
יישומי המאמר
המחקר מציע מעין זכוכית מגדלת לבדיקת תשובות של מודל שפה: במקום לסמן רק איזו מילה הייתה חשובה, הוא בוחן אילו שילובי מילים העלו או הורידו את הביטחון בתשובה מסוימת. כך אפשר לזהות, למשל, שהמודל הסתמך על מספר שהופיע במשפט מסיח במקום על העובדה הרלוונטית לשאלה. מפתחים וחוקרי הערכה יכולים להשתמש בשיטה להשוואת מודלים, לבדיקת עמידות לשינויי ניסוח ולחקירת הזיות והטיות. עם זאת, מדובר בכלי אבחוני מחקרי ולא במנגנון מוכח שמזהה אוטומטית כל תשובה שגויה או מתקן אותה. יישום אפשרי נוסף הוא דחיסת מודלים: מעקב אחר שימור יחסי הגומלין הפשוטים עשוי לסייע לזהות מתי גיזום נוסף מתחיל לפגוע ביכולת המרכזית של המודל. כיום השימוש מוגבל בשל העלות החישובית הגבוהה והצורך בגישה לציוני הפלט; אין כאן הסבר מלא למודל כולו או לכל רצף התשובה.
פירוט המאמר
מטרת המחקר והתרומה המרכזית
המאמר בוחן אם אפשר לתאר את התנהגותם של מודלי שפה גדולים באמצעות אוסף מצומצם של יחסי גומלין סמליים בין מילים. בניגוד להסברים המתמקדים בחשיבותה של מילה בודדת, השיטה מתארת כיצד נוכחות משותפת או חלופית של מילים משפיעה על הביטחון ביצירת טוקן מסוים. מטרת החוקרים כפולה: לבדוק עד כמה הסבר כזה משחזר את ציוני המודל, ולהשתמש בו לחקר מורכבות הייצוגים, יציבותם ושגיאותיהם. זהו בעיקר מחקר ניסויי, הנשען גם על מסגרת מתמטית מעבודות קודמות.
כיצד נבנה ההסבר
לכל קלט נבחרת קבוצת משתנים, בדרך כלל מילים, ונמדד ציון סקלרי המתאר את ביטחון המודל בטוקן היעד באמצעות לוגריתם יחס הסיכויים. החוקרים מחשבים את הציון בכל צירופי ההסתרה של המשתנים. אינטראקציית AND מופעלת כאשר כל המילים בקבוצה נוכחות, ואינטראקציית OR מופעלת כאשר לפחות אחת מהן נוכחת. לכל אינטראקציה משקל חיובי או שלילי, וסכום התרומות בתוספת קבוע יוצר מודל הסברי של התנהגות המודל המקורי. המסגרת המתמטית מבטיחה שבשימוש במכלול האינטראקציות ניתן לשחזר בדיוק את הציונים בכל מצבי ההסתרה. ואולם, פירוק מדויק כזה אינו מבטיח הסבר קצר: לשם כך נדרשת דלילות, כלומר שרוב משקלי האינטראקציות יהיו זניחים. החוקרים משתמשים באופטימיזציה דמוית LASSO כדי לעודד דלילות, ולאחר מכן שומרים אינטראקציות בולטות. חשוב להבחין בין הבטחת השחזור המתמטית של הפירוק המלא לבין איכות הקירוב האמפירית של אוסף מצומצם.
מערך הניסויים ובדיקת הנאמנות
ניסויי הליבה כוללים מודלים ממשפחות OPT, GPT-J, GPT-Neo ו־LLaMA, תוך שימוש בטקסטים מתוך SQuAD, WikiQA ו־ARC כהתחלות להשלמת טקסט. ניסויים נוספים כוללים מודלי Qwen, Llama וגרסאות מזוקקות של DeepSeek, וכן נתוני BBC. להפחתת העלות, ברבים מהניסויים נבחרו עשר מילים משמעותיות בלבד, ושאר הטקסט נשאר כרקע קבוע. לכן נבדקו 1,024 צירופי הסתרה עבור המשתנים שנבחרו, ולא כל האפשרויות לאורך המשפט השלם. התוצאות מצביעות על התפלגות דלילה: מעט אינטראקציות נושאות השפעה משמעותית ורבות אחרות קרובות לאפס. התקציר מציין שכ־50–100 אינטראקציות מספיקות בדרך כלל לקירוב טוב, ואילו גוף המאמר מדגיש התאמה טובה בשימוש ביותר מ־100 אינטראקציות בדוגמאות המוצגות. איכות ההסבר נמדדה באמצעות ההפרש בין ציון המודל לציון ההסבר. גרפי השגיאה הוחלקו באמצעות מיצוע על קבוצות סמוכות של מצבי הסתרה, ולכן אינם מציגים לבדם את מלוא שונות השגיאות הנקודתיות.
הבחנה בין ידע כללי להכרעה מדויקת
החוקרים מפרידים בין שתי מטרות הסבר: זיהוי קבוצת טוקנים הקשורים לתחום התוכן, ובחירת טוקן היעד מתוך אותה קבוצה. לדוגמה, הבחנה במילים הקשורות לפיזיקה היא מטרה גסה יותר מבחירת ההשלמה המדויקת למשפט על תורת היחסות. נמצא שהמטרה הגסה נשענת בעיקר על אינטראקציות מסדר נמוך, בעוד ההכרעה העדינה כוללת יותר אינטראקציות מסדר גבוה. בפועל, קבוצות המועמדים הוגבלו לעשרים הטוקנים המובילים ונבחרה מתוכן קבוצה תחומית. הממצא תומך בהבחנה תפקודית, אך אינו מוכיח תהליך פנימי סדרתי של שני שלבים. בניתוח השכבות הוגדר ציון המבוסס על ההיטל של הייצוג תחת הסתרה על כיוון הייצוג של הקלט המקורי. באמצעותו נבדק אילו אינטראקציות מסבירות מאפיינים בשכבות שונות. בשכבות מוקדמות בלטו קשרים פשוטים, ובשכבות עמוקות הופיעו יותר קשרים וגם קשרים מורכבים יותר. כלומר, במהלך ההפצה קדימה מתרחבת מורכבות התלות בין מילות הקלט כפי שהיא נמדדת במסגרת זו.
עקביות, יציבות ורלוונטיות סמנטית
המאמר מגדיר עקביות כשיעור האינטראקציות הבולטות במודל אחד המופיעות גם במודל אחר, ויציבות כשיעור האינטראקציות הנשמרות בין קלטים דומים. ההשוואות נבחרו כך שהמודלים או הניסוחים יניבו אותו טוקן יעד. בסף בולטות של 0.2 דווח על עקביות ממוצעת של 71.72% ועל יציבות של 77.38%. אינטראקציות בולטות ופשוטות היו בדרך כלל משותפות ויציבות יותר. אלו מדדי חפיפה כיווניים, עם ספים שונים בשני צדי ההשוואה, ולא מדדי זהות מלאה או נכונות עובדתית. בניסוי נפרד נוספו מסיחים לשאלות ARC, והמילים סווגו כרלוונטיות או בלתי רלוונטיות לתשובה. הרלוונטיות הסמנטית של אינטראקציה חושבה כשיעור המילים הרלוונטיות שהיא מכילה. אינטראקציות פשוטות היו בדרך כלל רלוונטיות יותר, ובמודלי Qwen מסוימים התקבלו עבורן ערכים גבוהים במיוחד. מדד זה בוחן התמקדות במידע שסומן כרלוונטי, אך הסימון האנושי והיחס המספרי אינם כשלעצמם הוכחה לסיבתיות.
אבחון שגיאות ודחיסת מודלים
ניתוחי מקרה מציגים תשובות שגויות הקשורות להסתמכות על מספרים מסיחים, להעתקת עובדות מישות אחת לאחרת ולאסוציאציות סביב שמות. דוגמאות נוספות מראות ביטול הדדי של אינטראקציות חיוביות ושליליות בתשובות בלתי הולמות, ושינוי תשובה בעקבות שינוי אותיות במילת ההנחיה. המקרים מדגימים ערך אבחוני אפשרי, אך אינם מבססים כלי כללי לזיהוי הזיות או מוכיחים שהטיית נתוני האימון היא הסיבה לשגיאה. בניסויי דחיסה באמצעות Wanda נבדקו שלושה מודלים על מאה משפטים. בתחילת הגיזום נחלשו בעיקר אינטראקציות בינוניות וגבוהות, לצד פגיעה מתונה יותר בביצועים. בהמשך, כאשר נפגעו גם אינטראקציות פשוטות, הירידה נעשתה חדה יותר. מכאן מוצע לעקוב אחר שימור הקשרים הפשוטים כמדד מסייע לבחירת עוצמת הגיזום. עם זאת, אינטראקציות מורכבות אינן בהכרח רעש: ניסויי ההכרעה העדינה באותו מאמר מצביעים גם על תפקידן האפשרי בידע מפורט.
מגבלות ומשמעות הממצאים
העלות המרכזית היא מעריכית: חישוב מלא דורש 2 בחזקת מספר המשתנים הרצות לכל קלט. איגוד מילים לביטויים עשוי להקל, אך משנה את רזולוציית ההסבר. התוצאות תלויות גם בבחירת המילים, בטוקן היעד, בשיטת ההסתרה ובספי הבולטות. הפירוק אינו ייחודי ואינו ממופה לנוירונים או למעגלים פנימיים. לפיכך, התרומה המשכנעת ביותר היא מסגרת מקומית לתיאור ולבדיקת תלות בצירופי מילים, ולא הוכחה לחשיפת מלוא לוגיקת החשיבה של מודל שפה.
היילייטס
- בניסויים מקומיים על מילים נבחרות, מספר קטן של אינטראקציות בולטות קירב היטב ציוני פלט לאורך כל צירופי ההסתרה; שימוש ביותר מ־100 אינטראקציות הניב התאמה טובה בדוגמאות המוצגות.
- בסף הבולטות שנבדק, שיעור החפיפה הממוצע המדווח היה 71.72% בין מודלים ו־77.38% בין ניסוחים דומים, לפי מדדי חפיפה כיווניים.
- אינטראקציות מסדר נמוך היו בדרך כלל עקביות ויציבות יותר; אינטראקציות מסדר גבוה הופיעו יותר בהבחנות עדינות ובשכבות עמוקות.
- בניסויי גיזום, ירידה חדה בביצועים נקשרה לפגיעה באינטראקציות פשוטות, לאחר שאינטראקציות מורכבות כבר נחלשו.
- התאמה לציוני פלט תחת הסתרה אינה מוכיחה שההסבר חושף מנגנון פנימי ייחודי; העלות המעריכית ותלות ההסבר בהגדרות הניסוי מגבילות את היישום.
שאלות נפוצות
כיצד אפשר להסביר מדוע מודל שפה בחר בתשובה מסוימת?
אפשר לבחון לא רק אילו מילים השפיעו על התחזית, אלא גם אילו שילובי מילים העלו או הורידו את הביטחון בטוקן יעד מסוים. השיטה מסתירה צירופים של מילים נבחרות ומייצגת את השפעתם באמצעות אינטראקציות סמליות מסוג AND ו־OR. כך מתקבל הסבר מקומי לתלות של התחזית בקלט — אך לא חשיפה מלאה של מנגנון החשיבה הפנימי או הסבר לכל רצף התשובה.
כיצד ניתוח שילובי מילים יכול לסייע בחקר הזיות והטיות במודלי שפה?
ניתוח האינטראקציות עשוי להראות שמודל הסתמך על מידע מסיח במקום על העובדה הרלוונטית לשאלה. בניתוחי מקרה זוהו, למשל, הסתמכות על מספרים מסיחים, העברת עובדות בין ישויות ואסוציאציות סביב שמות. זהו כלי אבחוני לחקירת שגיאות ורגישות לניסוח, ולא מנגנון שהוכח כמזהה אוטומטית כל הזיה, מסביר את סיבתה או מתקן אותה.
מהי ההשפעה של גיזום מודלים על הקשרים בין מילים ועל איכות הביצועים?
בניסויי הגיזום נחלשו תחילה בעיקר אינטראקציות בינוניות ומורכבות, לצד פגיעה מתונה יותר בביצועים. כאשר נפגעו גם אינטראקציות פשוטות, נצפתה ירידה חדה יותר בביצועים. הממצא מציע ששימור קשרים פשוטים עשוי לשמש מדד מסייע לבחירת עוצמת הגיזום. עם זאת, אין להסיק שקשרים מורכבים מיותרים: הם נמצאו קשורים גם להבחנות תוכן עדינות.
כיצד פועלות אינטראקציות AND ו־OR בהסבר תחזיות של מודלי שפה?
אינטראקציית AND מופעלת כאשר כל המילים בקבוצה נוכחות, ואינטראקציית OR מופעלת כאשר לפחות אחת מהן נוכחת. לכל אינטראקציה משקל חיובי או שלילי, וסכום התרומות בתוספת קבוע מקרב את ציון המודל לטוקן היעד. הפירוק המלא מאפשר לשחזר בדיוק את הציונים בכל מצבי ההסתרה; בניסויים, כ־50–100 אינטראקציות בולטות הספיקו לעיתים קרובות לקירוב טוב, ושימוש ביותר מ־100 הניב התאמה טובה בדוגמאות המוצגות.
מדוע אינטראקציות פשוטות חשובות להשוואת מודלים ולבדיקת עמידות לשינויי ניסוח?
אינטראקציות מסדר נמוך, המערבות פחות מילים, נטו להיות משותפות יותר למודלים שונים ולהישמר יותר בין ניסוחים דומים. בתנאי ההשוואה שנבדקו דווח על חפיפה ממוצעת של 71.72% בין מודלים ושל 77.38% בין ניסוחים דומים. אלו מדדי חפיפה כיווניים של אינטראקציות בולטות, ולא שיעורי דיוק או הוכחה לנכונות עובדתית. הם מאפשרים לחקור עד כמה מודלים נשענים על דפוסי תלות דומים גם כשהם מפיקים אותו טוקן יעד.
מה מגביל את השימוש בניתוח אינטראקציות להסברת מודלי שפה גדולים?
המגבלה המרכזית היא עלות חישובית מעריכית: בדיקה מלאה של (n) משתנים דורשת (2^n) צירופי הסתרה. לכן, ברבים מהניסויים נבחרו עשר מילים בלבד ונבדקו 1,024 צירופים, בעוד יתר הטקסט נשאר קבוע. נוסף על כך, נדרשת גישה לציוני הפלט, והתוצאות תלויות בבחירת המילים, בטוקן היעד ובשיטת ההסתרה. משום כך, השיטה מתאימה כיום בעיקר למחקר ולאבחון מקומי, ולא להסבר כולל של המודל.