הצלחה במשימה אינה מספיקה: הערכה המתחשבת בהשפעות לוואי של סוכני מודלי שפה המשתמשים בכלים
מאת Jiaju Huang, Shaobin Chen, Xinglong Liang, Xinyu Ma, Hao Yang, Wei Ke, Tao Tan, Yue Sun · פורסם: · עודכן:
סוכני AI שמשתמשים בכלים (דואר, יומן, מערכת פניות) נמדדים בדרך כלל לפי השאלה אם השלימו את המשימה. החוקרים מצביעים על כשל שהמדד הזה מפספס: הסוכן מבצע את הבקשה, אבל בדרך גם עושה פעולה לא מורשית, כמו כתיבה לפריט הלא נכון, הרחבת היקף הבקשה או פנייה לנמען שלא התכוונו אליו. לכשל הזה הם קוראים "נזק אגבי" (collateral damage). לצורך המדידה הם בנו את SABench, מבחן של 201 משימות דואר, יומן וכרטיסי פנייה, שכל אחת מהן כוללת מלכודת מוגדרת ובודק אוטומטי שבודק גם הצלחה וגם עמידה בהרשאות. ב-2,211 הרצות של 11 מודלי LLM מובילים, 15.2% מההרצות גרמו לנזק אגבי, ובמשימות עמומות השיעור הגיע ל-38.8%. גם בין ההרצות שהצליחו במשימה, 12.8% ביצעו כתיבה לא מורשית. לטענת החוקרים, הצלחה במשימה לבדה היא מדד גרוע לשימוש בטוח בכלים. המאמר התקבל ל-NeurIPS 2026.
יישומי המאמר
לארגונים שמחברים סוכני AI לדואר, ליומן או למערכות פניות, המסר המעשי ברור: בדיקת "האם המשימה בוצעה" אינה מספיקה. כדאי לבדוק גם מה עוד הסוכן שינה, למי פנה ואם חרג מהבקשה. הממצאים מצביעים על בקשות עמומות ועל תהליכים שחוצים כמה כלים כאזורי הסיכון העיקריים, ולכן שם מומלץ להוסיף אישור אנושי או הגבלת הרשאות כתיבה. הפער של פי 4.7 בין מודלים עם הצלחה דומה מרמז שבחירת מודל לסוכן צריכה לכלול גם מדד בטיחות, ולא רק דיוק. המבחן והקוד שוחררו לציבור, כך שצוותים יכולים להשתמש בהם להערכה פנימית.
פירוט המאמר
על סמך תקציר המאמר:
הבעיה
סוכני LLM שמשתמשים בכלים נבחנים בעיקר לפי השלמת המשימה. אבל סוכן יכול להשלים משימה ובמקביל לבצע פעולה לא מורשית, כמו כתיבה לאובייקט שגוי או פנייה לנמען לא מתוכנן. החוקרים מכנים זאת "נזק אגבי" (CD).
השיטה
החוקרים בנו את SABench (Side-effect-Aware Benchmark): 201 משימות דואר, יומן וכרטיסי פנייה. כל משימה משלבת אחד מארבעה מבני מצב (עצמאי, תלוי, נגיש מבחוץ, חוצה-כלים) עם אחת מארבע משפחות מלכודות (עמימות, מיקוד שגוי, נזק מתגלגל, חריגה מהבקשה). לכל משימה בודק דטרמיניסטי שמנתח את עקבות הפעולה.
הניסויים
נבדקו 2,211 צמדי מודל-משימה מ-11 מודלי LLM מובילים, מסחריים ופתוחים.
הממצאים
15.2% מההרצות גרמו לנזק אגבי; במשימות עמימות 38.8% לעומת ממוצע של 8.4% במלכודות אחרות. בין ההרצות שהשיגו את המטרה, 12.8% ביצעו כתיבה לא מורשית. מצבים חוצי-כלים ותלויים הניבו פי שניים בערך נזק אגבי. שיעורי הנזק השתנו פי 4.7 בין מודלים עם שיעורי הצלחה דומים.
למה זה חשוב
לטענת החוקרים, הצלחה במשימה אינה מעידה על שימוש בטוח בכלים.
היילייטס
- המאמר מגדיר "נזק אגבי": סוכן שמשלים את המשימה אך מבצע בדרך פעולה לא מורשית, כמו פנייה לנמען שגוי או הרחבת היקף הבקשה.
- מבחן SABench כולל 201 משימות דואר, יומן וכרטיסי פנייה, עם ארבעה מבני מצב וארבע משפחות מלכודות.
- ב-2,211 הרצות של 11 מודלים מובילים, 15.2% מההרצות גרמו לנזק אגבי, ובמשימות עמומות 38.8%.
- 12.8% מההרצות שהצליחו במשימה עדיין ביצעו כתיבה לא מורשית.
- שיעורי הנזק השתנו פי 4.7 בין מודלים עם שיעורי הצלחה דומים, כך שהצלחה לבדה אינה מנבאת בטיחות.
שאלות נפוצות
מהו "נזק אגבי" אצל סוכני AI?
זהו מצב שבו סוכן משלים את המשימה שהתבקשה, אבל בדרך מבצע פעולה לא מורשית עם השפעה ממשית, כמו כתיבה לפריט הלא נכון, הרחבת היקף הבקשה או פנייה לנמען שלא התכוונו אליו.
למה לא מספיק למדוד אם הסוכן הצליח במשימה?
לפי הממצאים, 12.8% מההרצות שהשיגו את המטרה עדיין ביצעו כתיבה לא מורשית, ושיעורי הנזק השתנו פי 4.7 בין מודלים עם שיעורי הצלחה דומים.
באילו מצבים הסיכון לנזק אגבי גבוה במיוחד?
במשימות עמומות שיעור ההפרות הגיע ל-38.8%, לעומת ממוצע של 8.4% במלכודות אחרות. גם משימות שחוצות כמה כלים או תלויות במצב קודם הניבו בערך פי שניים נזק אגבי.
איך אפשר למדוד באופן אוטומטי אם סוכן חרג מההרשאות?
במבחן SABench לכל משימה יש בודק דטרמיניסטי שמנתח את עקבות הפעולות של הסוכן ובודק גם אם המטרה הושגה וגם אם כל הפעולות היו מורשות.