גבו לפני שתתחרטו: מדידת מודעות לגיבוי ואוטומציה של גיבוי בסוכני כתיבת קוד
מאת Xu Li, Simon Yu, Minzhou Pan, Yiyou Sun, Zhaorun Chen, Bo Li, Weiyan Shi · פורסם: · עודכן:
סוכני קוד אוטונומיים משנים קבצים, סביבות תוכנה והגדרות תוך כדי עבודה, אבל לעתים קרובות אינם שומרים את המצב המקורי לפני שינוי שאולי יתברר כטעות. החוקרים בנו את RegretBench: אוסף של 205 משימות הניתנות להרצה, שנבנו מרגעים שבהם משתמשים התחרטו בפומבי ב-X.com, ב-GitHub וב-Stack Overflow על כך שלא שמרו מצב קודם. על פני שישה מודלים מתקדמים, הסוכנים השלימו בממוצע 86.1% מהמשימות, אבל גיבו לפני רגע החרטה רק ב-15.2% מהמקרים. בתגובה הציעו את BackUpper, שכבת גיבוי שמתחברת לסביבת הסוכן, בודקת כל קריאה לכלי ושומרת את המצב שעומד להשתנות. השכבה כיסתה את כל הפעולות שקשורות לרגעי חרטה ושחזרה מצבים בדמיון ממוצע של 92.2% למקור, בעלות של 0.014 דולר למשימה ועם פי 7 פחות טוקנים מגיבוי שהסוכן הראשי מבצע בעצמו. לטענת החוקרים, אפשר לשמור על הפיכות של פעולות הסוכן בעלות נמוכה.
יישומי המאמר
לצוותי פיתוח שמפעילים סוכני קוד על סביבות אמיתיות, המחקר מצביע על פער ברור: סוכן שמשלים משימות היטב לא בהכרח שומר עותק של מה שהוא משנה. המשמעות המעשית היא לא להסתמך על כך שהסוכן יגבה בעצמו, ולהוסיף שכבת הגנה ברמת סביבת ההרצה שתופסת כל פעולה לפני שהיא משנה מצב. לפי הממצאים, שכבה כזו יכולה להיות זולה מאוד, 0.014 דולר למשימה, וחסכונית בטוקנים לעומת בקשה מהסוכן לגבות בעצמו. הדבר רלוונטי במיוחד כשסוכנים נוגעים בקבצי הגדרות, בבסיסי נתונים או בסביבות משותפות. התוצאות נמדדו על אוסף המשימות שבנו החוקרים, ולכן כדאי לבדוק את הגישה גם על התהליכים הספציפיים של הארגון.
פירוט המאמר
על סמך תקציר המאמר:
הבעיה
סוכני קוד אוטונומיים משנים קבצים, סביבות והגדרות אמיתיים, אבל לעתים קרובות אינם צופים שיהיה צורך במצב המקורי ואינם שומרים אותו לפני השינוי.
השיטה
החוקרים בנו את RegretBench, אוסף של 205 משימות הניתנות להרצה שנבנו מרגעי חרטה פומביים של משתמשים ב-X.com, ב-GitHub וב-Stack Overflow. בנוסף הציעו את BackUpper, שכבת גיבוי שמתחברת לסביבת הסוכן (harness), בודקת כל קריאה לכלי ושומרת את המצב לפני השינוי. היא משתמשת בכללים קבועים לפעולות נפוצות, בתת-סוכן קל למקרים מורכבים, ובטבלת כללים שגדלה עם כל החלטה חדשה שלו.
הניסויים
נבדקו שישה מודלים מתקדמים על RegretBench, ולאחר מכן BackUpper על אותו אוסף.
הממצאים
הסוכנים השלימו בממוצע 86.1% מהמשימות, אך גיבו לפני רגעי החרטה רק ב-15.2% מהמקרים. BackUpper כיסה את כל הפעולות שקשורות לרגעי חרטה, שחזר מצבים בדמיון ממוצע של 92.2%, בעלות של 0.014 דולר למשימה ועם פי 7 פחות טוקנים מגיבוי עצמי של הסוכן. כשהמשתמש מציין העדפות, ההחלטות שלו תאמו תיוג אנושי בציון F1 של 84.5%.
למה זה חשוב
יכולת להשלים משימה אינה מעידה על מודעות לגיבוי, ושכבת גיבוי חיצונית יכולה לסגור את הפער בעלות נמוכה.
היילייטס
- RegretBench כולל 205 משימות הניתנות להרצה, שנבנו מרגעים שבהם משתמשים ב-X.com, ב-GitHub וב-Stack Overflow התחרטו על כך שלא שמרו מצב קודם.
- על פני שישה מודלים מתקדמים, הסוכנים השלימו 86.1% מהמשימות בממוצע, אבל גיבו לפני רגעי החרטה רק ב-15.2% מהמקרים.
- BackUpper בודק כל קריאה לכלי ושומר את המצב לפני שינוי, ומשלב כללים קבועים, תת-סוכן קל וטבלת כללים שגדלה עם הזמן.
- השכבה כיסתה את כל הפעולות שקשורות לרגעי חרטה, שחזרה מצבים בדמיון ממוצע של 92.2%, ועלתה 0.014 דולר למשימה עם פי 7 פחות טוקנים מגיבוי עצמי של הסוכן.
- כשמשתמשים מציינים העדפות, BackUpper מצמצם את היקף הגיבוי ומגיע להתאמה לתיוג אנושי בציון F1 של 84.5%.
שאלות נפוצות
מה זו מודעות לגיבוי אצל סוכן קוד?
זו היכולת של הסוכן לצפות ששינוי שהוא עומד לבצע עשוי להתברר כטעות, ולשמור את המצב המקורי לפני שהוא משנה אותו.
האם סוכן שמשלים משימות היטב גם מגבה היטב?
לא בהכרח. במחקר הסוכנים השלימו בממוצע 86.1% מהמשימות, אבל גיבו לפני רגעי החרטה רק ב-15.2% מהמקרים.
איך אפשר להוסיף גיבוי אוטומטי לסוכן?
גישה אחת היא שכבה חיצונית שבודקת כל קריאה לכלי ושומרת את המצב שעומד להשתנות. BackUpper עושה זאת עם כללים לפעולות נפוצות ותת-סוכן קל למקרים מורכבים.
האם גיבוי אוטומטי יקר?
לפי החוקרים, BackUpper עלה 0.014 דולר למשימה והשתמש בפי 7 פחות טוקנים לעומת מצב שבו הסוכן הראשי מגבה את עבודתו בעצמו.