כיצד רגש מעצב את ההתנהגות של מודלי שפה גדולים (LLMs) וסוכנים: מחקר מכניסטי

מחקר זה חשוב במיוחד למי שבונה מוצרים, עוזרים חכמים או סוכני AI בארגון. הוא מראה שאפשר להשפיע על אופן החשיבה וההתנהגות של מודלי שפה לא רק דרך ניסוח פרומפטים, אלא דרך היגוי פנימי ומבוקר של "מצבים רגשיים". מבחינה מעשית, המשמעות היא שניתן לתכנן מערכות AI שיהיו זהירות יותר במשימות רגישות, יצירתיות יותר במשימות תוכן, או עקביות יותר בסוכנים שמבצעים תהליכים מרובי שלבים. עבור מנהלים ועסקים, זה פותח אפשרות לכייל סוכני שירות, מכירות, תמיכה, חיפוש או אוטומציה כך שיפעלו בצורה מתאימה יותר להקשר העסקי ולרמת הסיכון. בנוסף, המסגרת הפרשנית שהמאמר מציע עשויה לסייע בשליטה, ניטור ובטיחות של מערכות AI מתקדמות במקום להסתפק בניסוי וטעייה ברמת הפרומפט.

רקע ומוטיבציה

המאמר עוסק בשאלה מרכזית אך יחסית לא נחקרת: האם לרגש יש תפקיד מכניסטי בהתנהגות של מודלי שפה גדולים וסוכנים אוטונומיים, ולא רק תפקיד סגנוני או תפיסתי. המחברים יוצאים מההבנה שרגש משפיע על קוגניציה וביצוע אנושיים, ושואלים האם ניתן לזהות השפעה מקבילה גם במערכות LLM. לטענתם, רוב העבודות הקודמות עסקו ברגש כמאפיין חיצוני של טקסט, למשל סגנון כתיבה, טון, או זיהוי רגש, אך לא בחנו כיצד רגש עשוי לשנות את עיבוד המשימה עצמו בתוך המודל.

מטרת המחקר

מטרת המחקר היא לבנות מסגרת פרשנית ומבוקרת שתאפשר היגוי רגשי ישיר של LLMs וסוכנים, ולאחר מכן לבדוק כיצד רגשות שונים משנים ביצועים, בטיחות, יצירה והתנהגות רב-שלבית. החוקרים מבקשים להבין לא רק אם רגש משנה את הפלט, אלא באילו תחומים הוא מועיל, מתי הוא מזיק, והאם ניתן לראות דפוסים שדומים לתיאוריות פסיכולוגיות מוכרות.

המסגרת המוצעת: E-STEER

כדי לענות על השאלה, המחברים מציעים מסגרת בשם E-STEER. לפי האבסטרקט, מדובר במסגרת פרשנית ל-steering רגשי שמאפשרת התערבות ברמת הייצוגים הפנימיים של המודל, כלומר ברמת המצבים החבויים ולא רק דרך ניסוח פרומפט. הרגש מוטמע כמשתנה מובנה ובר-שליטה בתוך ה-hidden states של המודל. זהו חידוש מהותי, משום שהגישה מאפשרת לבחון השפעות סיבתיות יותר של רגש על התנהגות מודל, ולא רק קורלציות בין ניסוח רגשי לבין פלט.

המסגרת מיועדת הן ל-LLMs רגילים והן לסוכנים המבצעים רצפים של פעולות. בכך המחקר מחבר בין interpretability, controllability ותכנון מערכות סוכן מורכבות.

מערך הניסויים

המאמר בוחן את השפעת ההיגוי הרגשי בארבעה תחומים מרכזיים:

1. הסקה אובייקטיבית.
2. יצירה סובייקטיבית.
3. בטיחות.
4. התנהגות סוכנים מרובי שלבים.

המאמר הוא באורך 15 עמודים וכולל 11 איורים, מה שמרמז על מערך ניסויי רחב יחסית והצגה ויזואלית של ממצאים. האבסטרקט אינו מפרט את כל הדאטהסטים, המודלים, גודל המדגמים או המדדים המספריים, ולכן לא ניתן לשחזר מתוך דף ה-arXiv לבדו את כל פרטי הניסוי הכמותיים. עם זאת, מבנה השאלות המחקריות והטענות בממצאים ברורים למדי.

הסקה אובייקטיבית

אחד מצירי הבחינה המרכזיים הוא האם רגש משפיע על איכות reasoning אובייקטיבי. במקום להניח שרגש תמיד פוגע בהסקה רציונלית, המחקר מראה שההשפעה מורכבת יותר. התוצאות מצביעות על קשר לא-מונוטוני בין רגש לבין ביצוע: רגשות מסוימים עשויים לשפר ביצועים בחלק מהמשימות, בעוד שאחרים עשויים לפגוע, ולעיתים אותה משפחה רגשית עשויה להועיל רק בעוצמות או בהקשרים מסוימים.

הנקודה המשמעותית היא שהשפעת רגש אינה מסתכמת בשינוי סגנון תשובה, אלא עשויה לשנות את איכות עיבוד המידע והסקת המסקנות. זה ממצב את הרגש כמשתנה תפקודי ולא רק אסתטי.

יצירה סובייקטיבית

במרחב של משימות יצירתיות או סובייקטיביות, הרגש משמש ככלי היגוי טבעי עוד יותר. המחקר בודק כיצד רגשות שונים משנים את מאפייני היצירה של המודל. המסקנה המרכזית היא שגם כאן לא מדובר רק בשינוי טון, אלא בהשפעה רחבה יותר על אופי היצירה. רגשות מסוימים יכולים להעשיר את התוכן, להוביל ליצירתיות או גיוון, ולכוון את התוצר הסופי בדרכים עקביות.

עבור יישומים כמו כתיבה שיווקית, יצירת תוכן, דיאלוג עם משתמשים או עיצוב חוויית משתמש, המשמעות היא שניתן לייצר שליטה עדינה ומבוססת יותר על אופי הפלט.

בטיחות והתנהגות אחראית

אחת הטענות החשובות במאמר היא שרגשות מסוימים לא רק משפרים יכולות אלא גם משפרים בטיחות. זהו ממצא בעל חשיבות יישומית גבוהה, משום שבדרך כלל מערכות בטיחות ב-LLMs בנויות דרך פילטרים, מדיניות חיצונית או fine-tuning ייעודי. כאן מוצע כיוון נוסף: שימוש בהיגוי רגשי כמשתנה שמפחית סיכונים או משנה נטייה של המודל לענות בדרכים בטוחות יותר.

האבסטרקט אינו מספק מדדי בטיחות מספריים, אך טוען במפורש לשיפור בטיחותי שיטתי. אם ממצא זה נתמך לאורך כלל הניסויים, הוא עשוי להיות בעל השלכות ישירות על תכנון עוזרים דיגיטליים, צ'אטבוטים ארגוניים וסוכנים אוטונומיים במערכות רגישות.

סוכנים מרובי שלבים

החלק הבולט ביותר במחקר הוא הרחבת הדיון מ-LLM בודד אל סוכנים. המחברים בוחנים כיצד רגש משפיע על התנהגות של סוכן לאורך מספר צעדים, ולא רק על תגובה אחת. הם מראים כי רגשות מסוימים מעצבים באופן שיטתי את דפוסי הפעולה של הסוכן. כלומר, הרגש הופך למעין משתנה מדיניות שמשפיע על קבלת החלטות, התמדה, זהירות, סדר פעולות ואולי גם אסטרטגיית פתרון.

זהו מעבר חשוב מאוד מהשפעת רגש על טקסט להשפעת רגש על behavior. עבור תחום ה-agentic AI, מדובר בממצא שעשוי לעזור לבנות סוכנים נשלטים יותר, מותאמים למשימה ובטוחים יותר לאורך תהליך ביצוע שלם.

ממצאים מרכזיים

הממצא המרכזי של המאמר הוא שקיימים יחסי רגש-התנהגות לא-מונוטוניים. במילים אחרות, אין דירוג פשוט של רגשות כ"טובים" או "רעים" לביצוע. ההשפעה תלויה במשימה, בסוג הפלט ובכנראה גם בעוצמת ההתערבות. המחברים מדגישים שהתוצאות עקביות עם תיאוריות פסיכולוגיות מבוססות, מה שמרמז על הקבלה מעניינת בין דינמיקות קוגניטיביות אנושיות לבין דינמיקות חישוביות במודלים גדולים.

בנוסף, נמצא כי רגשות ספציפיים יכולים:

• לשפר capability של המודל.
• לשפר בטיחות.
• לעצב התנהגות סוכן רב-שלבית באופן שיטתי.

תרומת המחקר

התרומה המרכזית של המאמר היא כפולה. ברמה המדעית, הוא מציע דרך חדשה לחשוב על רגש במודלי שפה: לא כקישוט לשוני אלא כמשתנה פנימי שניתן לנתח ולשלוט בו. ברמה ההנדסית, הוא מספק מסגרת שעשויה לשמש לכיול ובקרה של LLMs וסוכנים בהתאם למטרה רצויה.

המחקר גם מחזק את החשיבות של interpretability ברמת הייצוגים החבויים, ומציע ששליטה פנימית עשויה להיות חלופה או השלמה יעילה יותר מהנדסת פרומפטים בלבד.

מגבלות ומסקנות

מן החומר שסופק לא מופיעים כל הפרטים הכמותיים, ולכן קשה להעריך את גודל האפקטים, את מובהקותם הסטטיסטית, ואת המודלים והבנצ'מרקים המדויקים ששימשו במחקר. עם זאת, המסקנה האיכותית ברורה: רגש הוא ממד תפקודי, בר-שליטה ופרשני בהתנהגות של LLMs וסוכנים.

בסיכום, המאמר מציע תזה חזקה: אם נדע לייצג רגש כמשתנה מובנה בתוך מודלי שפה, נוכל לא רק להבין טוב יותר כיצד הם פועלים, אלא גם לשפר ביצועים, בטיחות ושליטה בסוכנים אוטונומיים. זהו צעד חשוב לעבר מערכות AI שמתנהגות באופן צפוי, מכוון ומותאם יותר להקשר המשימתי.