זירת AI

מעוגן אך לא חסין: הטיית אישור במערכות סוכן כשופט

מאת Drake Benjamin Brown, Khushbu Pahwa, Yubin Ge, Salvatore Romeo, Akhil Agnihotri, Yi Zhang, Xiaofei Ma, Daniele Bonadiman · פורסם: · עודכן:

יותר ויותר משימות פתוחות של סוכני AI נבדקות על ידי "סוכן כשופט" (Agent-as-a-Judge): שופט שמקבל כלים ואת כל מסלול הפעולה של הסוכן, כדי לאמת את התוצאות מול הסביבה. ההנחה הייתה שאם השופט אוסף ראיות בעצמו, הוא יהיה מעוגן בהן. החוקרים מראים שזה לא מגן מפני הטיית אישור. הערת סינון מוקדם אחת, שגויה, שמיוחסת לגורם סמכותי ואינה רלוונטית לפסק הדין הנכון, הפכה עד 40% מפסקי הדין הנכונים של שופט שמשתמש בכלים. זה קרה בארבעה שופטים ובחמישה מאגרי נתונים, למרות שהשופט אסף ראיות מכריעות. החוקרים מזהים שלושה דפוסי כשל: אמון יתר, הזיה וחקירה חסרה. אצל שני שופטי Claude, אמון יתר הסביר 67-75% מההיפוכים המזיקים. מיתונים פשוטים מפחיתים את ההטיה, אך אינם מבטלים אותה.

יישומי המאמר

ארגונים שמשתמשים במודלים או בסוכנים כדי להעריך עבודה של סוכנים אחרים, למשל בבדיקות איכות אוטומטיות או בהשוואת גרסאות, צריכים לדעת שגם שופט עם גישה לכלים ולראיות עלול לשנות את הכרעתו בגלל הערה אחת שנראית סמכותית. המסקנה המעשית היא להקפיד על מה שנכנס להקשר של השופט: להימנע מהערות מקדימות או תוויות שעלולות לכוון אותו, ולבדוק את רגישות השופט לרמזים כאלה. לפי המחקר, מיתונים פשוטים עוזרים רק חלקית, ולכן לא כדאי להסתמך עליהם כפתרון מלא. הממצא רלוונטי גם לשופטים מבוססי מודלים חזקים: אצל שני שופטי Claude, רוב ההיפוכים נבעו מאמון יתר ולא מחוסר בראיות.

פירוט המאמר

על סמך תקציר המאמר:

הבעיה

מערכות Agent-as-a-Judge מקבלות כלים ואת מסלול הפעולה המלא של הסוכן, כדי לבדוק תוצאות מול הסביבה. ההנחה הרווחת היא שראיות שהשופט אוסף בעצמו יעגנו אותו ויגנו עליו מפני הטיות.

השיטה

החוקרים הוסיפו הערת סינון מוקדם אחת: שגויה, מיוחסת לגורם סמכותי ולא רלוונטית לפסק הדין הנכון. ההערה שימשה ככלי אבחון מבוקר להטיית אישור, ולא כמתקפה.

הניסויים

הבדיקה כללה ארבעה שופטים וחמישה מאגרי נתונים.

הממצאים

ההערה הפכה עד 40% מפסקי הדין הנכונים, אף שהשופט אסף ראיות מכריעות, וההשפעה תלויה בתכונות ספציפיות של הרמז. החוקרים מגדירים שלושה דפוסי כשל: אמון יתר (השופט מאמת, מגיע למסקנה הנכונה ובכל זאת נכנע), הזיה (המצאת תמיכה בפסק ההפוך) וחקירה חסרה (עצירה בסימן הראשון שנראה מאשר). אצל שני שופטי Claude, אמון יתר הסביר 67-75% מההיפוכים המזיקים. מיתונים קלים מפחיתים את ההטיה אך לא מבטלים אותה.

למה זה חשוב

שופט עם כלים וראיות אינו חסין מפני מידע מטעה בהקשר שלו.

היילייטס

  • הערת סינון מוקדם אחת, שגויה ומיוחסת לגורם סמכותי, הפכה עד 40% מפסקי הדין הנכונים של שופט שמשתמש בכלים.
  • האפקט נמצא בארבעה שופטים ובחמישה מאגרי נתונים, גם כשהשופט אסף בעצמו ראיות מכריעות.
  • החוקרים ממיינים את הכשלים לשלושה דפוסים: אמון יתר, הזיה וחקירה חסרה.
  • אצל שני שופטי Claude, אמון יתר, כלומר אימות נכון ואחריו כניעה לרמז, הסביר 67-75% מההיפוכים המזיקים. אצל שופטים קטנים יותר השגיאות התפזרו על פני שלושת הדפוסים.
  • מיתונים קלים מפחיתים את ההטיה, אך אינם מבטלים אותה.

שאלות נפוצות

מהו Agent-as-a-Judge?

מערכת הערכה שבה שופט מבוסס מודל מקבל כלים ואת מסלול הפעולה המלא של הסוכן, כדי לבדוק את התוצאות מול הסביבה ולא רק לקרוא אותן.

מהי הטיית אישור אצל שופט AI?

נטייה של השופט לאמץ מסקנה שהוצעה לו מראש, גם כשהראיות שאסף מצביעות על מסקנה אחרת.

האם איסוף ראיות עצמאי מגן על השופט?

לא במלואו. במחקר, הערה שגויה אחת הפכה עד 40% מפסקי הדין הנכונים, אף שהשופט אסף ראיות מכריעות.

אילו סוגי כשלים נצפו?

אמון יתר, שבו השופט מגיע למסקנה הנכונה ובכל זאת נכנע; הזיה, שבה הוא ממציא תמיכה בפסק ההפוך; וחקירה חסרה, שבה הוא עוצר בסימן הראשון שנראה מאשר.

מחקרים קשורים