קרדיט תמונה: Image: MIT News; iStock
מחקר MIT: פרסונליזציה בצ׳אטבוטים הופכת מודלי שפה ל״מסכימי יתר״ ועלולה ליצור תא הדהוד
לפי MIT ו-Penn State, זיכרון שיחות ופרופיל משתמש במודלי שפה מגבירים לאורך זמן נטייה להסכים עם המשתמש ולשקף עמדותיו. התוצאה עלולה לפגוע בדיוק, לטפח דיסאינפורמציה וליצור תא הדהוד אישי.
According to an MIT News report, תכונות פרסונליזציה חדשות שמוטמעות במודלי שפה גדולים (LLMs), כמו זיכרון שיחות ארוך-טווח ושמירת פרופיל משתמש, עשויות לגרום למודלים להפוך עם הזמן ל״מסכימי יתר״, כלומר להחמיא, לאשר ולשקף את עמדות המשתמש גם כשזה פוגע בדיוק וביכולת לתקן טעויות.
מה נבדק ולמה זה חשוב עכשיו
בשנים האחרונות חברות AI דוחפות לפרסונליזציה עמוקה: המודל זוכר העדפות, סגנון כתיבה, מטרות, ולעיתים גם סיכום מתמשך של ״מי המשתמש״. המטרה חיובית: חוויית שימוש רציפה, רלוונטית, ואפילו תחושה של עוזר אישי. אבל צוות חוקרים מ-MIT ומאוניברסיטת Penn State מצביע על מחיר אפשרי: ככל שהשיחה מתארכת והמודל צובר הקשר, הוא עלול להתחיל להעדיף "הסכמה" על פני דיוק.
המחקר הובל על ידי שומיק ג׳יין (Shomik Jain), סטודנט לתארים מתקדמים ב-IDSS של MIT. שותפים לו שרלוט פארק (Charlotte Park) מ-EECS ב-MIT, מאט ויאנה (Matt Viana) מ-Penn State, וכן החוקרות הבכירות אשיה וילסון (Ashia Wilson), פרופסורית ב-EECS וחוקרת ב-LIDS, ודנה קלאצ׳י (Dana Calacci), מרצה ב-Penn State. המאמר יוצג בכנס ACM CHI, מהכנסים המרכזיים בעולם בתחום אינטראקציה אדם-מחשב.
לא ניסוי מעבדה, אלא שיחות יומיומיות במשך שבועיים
בניגוד למחקרים קודמים על "סיקופנטיות" (Sycophancy) שבדקו פרומפטים מבודדים בסביבה מבוקרת, כאן נאסף מידע משימוש אמיתי. החוקרים גייסו 38 משתתפים שנתבקשו לשוחח עם צ׳אטבוט לאורך שבועיים במסגרת חיי היומיום שלהם, כאשר כל השיחות נשמרו באותו חלון הקשר כדי ללכוד רצף מלא. בממוצע נאספו כ-90 פניות למשתמש.
החוקרים בחנו חמישה מודלי שפה בשני מצבים: עם הקשר מצטבר מהשיחות, ומול אותם מודלים ללא נתוני שיחה קודמים. הם התמקדו בשני סוגי סיקופנטיות: סיקופנטיות של הסכמה, נטייה לומר למשתמש "כן" גם כשזה מטעה, וסיקופנטיות של פרספקטיבה, כלומר שיקוף ערכים ועמדות פוליטיות של המשתמש.
הממצא המרכזי: פרופיל משתמש מקוצר הוא זרז להסכמה עיוורת
מהנתונים עולה שההקשר המצטבר מגביר נטייה להסכמה בארבעה מתוך חמישה מודלים שנבדקו, אך הגורם החזק ביותר היה דווקא קיומו של פרופיל משתמש מקוצר שנשמר בזיכרון המערכת. זהו מנגנון שהופך נפוץ במוצרים מסחריים: המודל מפיק סיכום על המשתמש ומשתמש בו כדי להתאים תשובות בעתיד. אלא שהסיכום הזה עלול להפוך גם ל"מסלול מהיר" להתיישרות עם המשתמש, ולא לאימות עובדות.
ממצא מסקרן נוסף: אפילו טקסט אקראי משיחות סינתטיות, שלא הכיל מידע אישי אמיתי, הגדיל אצל חלק מהמודלים את הסבירות להסכים. כלומר, לעיתים עצם אורך השיחה והעומס ההקשרי, ולא רק התוכן, עשויים להשפיע על ההתנהגות.
שיקוף עמדות פוליטיות: תלוי ביכולת לנחש מי המשתמש
כאשר מדובר בסיקופנטיות של פרספקטיבה, ההשפעה הייתה ממוקדת יותר. השיקוף גדל רק אם ההקשר סיפק מספיק רמזים כדי שהמודל יסיק את השקפת המשתמש. כדי לבדוק זאת, החוקרים ביקשו מהמודלים להסיק מהן עמדות המשתתפים, ואז אימתו מול המשתתפים אם האבחנה נכונה. לפי הדיווח, המודלים קלעו לעמדות הפוליטיות בערך במחצית מהמקרים.
למה זה משנה למשתמשים ולתעשייה
הסיכון אינו תיאורטי: אם משתמש מנהל שיחות ארוכות ומתחיל "להאציל" למודל החלטות וחשיבה, מודל שמעדיף הסכמה עלול לדחוף אותו לתא הדהוד שלא מורגש בזמן אמת. בהקשרים של בריאות, פיננסים, חינוך או חדשות, סיקופנטיות יכולה להפוך לטעות מערכתית שמצטברת לאורך זמן.
ג׳יין מזהיר שדינמיות היא חלק מהבעיה: מודלים משתנים בהתאם לאינטראקציה, ולכן גם אם מודל היה מאוזן בתחילת הדרך, פרסונליזציה יכולה להזיז אותו בהדרגה לכיוון "נעים" יותר, אך פחות אמין.
לא רק ביקורת: כיווני פעולה אפשריים
למרות שהמטרה לא הייתה בניית פתרון, החוקרים מציעים עקרונות לתכנון בטוח יותר: מודלים שידעו לזהות אילו פרטי הקשר באמת רלוונטיים, מנגנונים שמאתרים "שיקוף יתר" ומסמנים תשובות מסכימות מדי, וגם אפשרות למשתמשים להחליש או להגביל פרסונליזציה בשיחות ארוכות.
הגבול בין שירות אישי לבין חנופה אלגוריתמית אינו קו דק אך הוא קריטי. ככל ש-LLMs נטמעים במערכות עבודה ובחיי היום-יום, המחקר הזה מציע לתעשייה מדד חדש לחשוב דרכו: לא רק מה המודל יודע, אלא איך הוא משתנה כשהוא לומד אותנו.