זירת AI

האיזון בין עלות להצלחה בארכיטקטורות סוכנים: הערכה מבוקרת על פני SOPs בסגנון ארגוני

מאת Subhrangshu Nandi, Hitesh Arora, Yunfei Bai, Udita Patel, Chirag Shah, Hannah Kwon, Wei Zhang, Weian Chen, Chloe Ruoqi Li, Alberto Sconfienza, Ayush Goyal, Yasmine Lee, Ming Xiong, Prathap Ramachandra · פורסם: · עודכן:

ארגונים רבים מפעילים כיום סוכני LLM לביצוע נהלי עבודה סטנדרטיים (SOPs): תהליכים ארוכים, מסועפים ותלויים בכלים רבים. השאלה איזו ארכיטקטורת סוכנים לבחור נשארה עד כה ללא ראיות מבוקרות. החוקרים קיבעו את המודל, המשימות והכלים, ושינו רק את הארכיטקטורה: סוכן יחיד עם קריאה לפונקציות, סוכן עם "מיומנויות" (skills), תזמור מרכזי של כמה סוכנים ו"נחיל" עם מיון משימות. בסך הכול נבדקו שמונה תצורות על 13 נהלים ארגוניים. הממצא המרכזי: אין ארכיטקטורה אחת שמנצחת תמיד. כל התצורות המתואמות צרכו פי 1.4 עד 4.7 טוקנים ופי 2.6 עד 5.8 זמן תגובה לעומת הסוכן היחיד, בעוד שהשיפור בהצלחה היה לרוב קטן ורק לעיתים נדירות מובהק. מיומנויות איכותיות העלו את שיעור ההצלחה מ-67.4% ל-73.1%, ורק גרסה מתוכננת מחדש של מערכת מרובת סוכנים הגיעה לשיפור מובהק: 75.6%. המשמעות: איכות היישום חשובה יותר מהבחירה בין סוכן אחד לכמה סוכנים.

יישומי המאמר

למנהלים ולצוותים שבונים אוטומציה מבוססת סוכנים לתהליכים ארגוניים, המסר מעשי וישיר: כדאי להתחיל מסוכן יחיד עם קריאה לכלים ולמדוד אותו. לפי התקציר, מעבר למערכת מרובת סוכנים מכפיל את צריכת הטוקנים ואת זמן התגובה, ולרוב לא מביא שיפור מובהק בהצלחה. השקעה באיכות ההגדרות של ה-skills נראית משתלמת יותר, אבל skills כתובים גרוע עלולים לפגוע בתוצאה. אם בכל זאת עוברים לארכיטקטורה מורכבת, איכות המימוש היא שקובעת. חשוב לזכור שהתוצאות תלויות בנוהל הספציפי, ולכן מומלץ לבדוק על התהליכים של הארגון עצמו לפני החלטה. מדד פשוט שכדאי לעקוב אחריו: עלות הטוקנים וזמן התגובה לכל משימה שהצליחה.

פירוט המאמר

על סמך תקציר המאמר:

הבעיה

ארגונים מריצים סוכני LLM על נהלי עבודה (SOPs) ארוכים ומסועפים, אך אין כמעט ראיות מבוקרות לבחירת ארכיטקטורה.

השיטה

המודל, המשימות והכלים קובעו, ורק הארכיטקטורה השתנתה: סוכן יחיד עם function calling, סוכן עם skills, תזמור מרכזי מרובה סוכנים ונחיל מיון (triage swarm). החוקרים גם פיתחו מחוון לאיכות הגדרת skills.

הניסויים

שמונה תצורות נבדקו על 13 נהלים ארגוניים, כולל מאגרי skills תואמים באיכות גבוהה ונמוכה.

הממצאים

ההצלחה בנוהל בודד נעה בין פחות מ-10% בנוהל הקשה ביותר לכמעט 100% בקל ביותר, ואף ארכיטקטורה לא נבדלה באופן מובהק בסיכום הכולל. תצורות מתואמות צרכו פי 1.4-4.7 טוקנים ופי 2.6-5.8 זמן תגובה. skills איכותיים: 73.1% לעומת 67.4%; גרסה מתוכננת מחדש מרובת סוכנים: 75.6%, השיפור המובהק היחיד.

מגבלות

המגמה שלפיה מבנה נוסף עוזר בנהלים מסועפים היא כיוונית בלבד ואינה מובהקת סטטיסטית.

למה זה חשוב

לטענת החוקרים, סוכן יחיד הוא ברירת המחדל היעילה, וכל תוספת ארכיטקטונית צריכה להצדיק את עלותה.

היילייטס

  • שמונה תצורות של ארבע ארכיטקטורות סוכנים נבדקו על 13 נהלי עבודה ארגוניים, כשהמודל, המשימות והכלים קבועים.
  • אף ארכיטקטורה לא הייתה טובה יותר באופן מובהק בסיכום הכולל; ההצלחה תלויה בנוהל עצמו.
  • תצורות מתואמות צרכו פי 1.4 עד 4.7 טוקנים ופי 2.6 עד 5.8 זמן תגובה לעומת סוכן יחיד.
  • skills באיכות גבוהה העלו את ההצלחה מ-67.4% ל-73.1%, ו-skills באיכות ירודה הורידו אותה מתחת לבסיס.
  • מימוש סביר של מערכת מרובת סוכנים היה חלש מהסוכן היחיד, ורק תכנון מחדש ממוקד שלו הגיע ל-75.6%.

שאלות נפוצות

האם מערכת מרובת סוכנים תמיד עדיפה על סוכן יחיד בתהליכים ארגוניים?

לא. בבדיקה המבוקרת אף ארכיטקטורה לא נבדלה באופן מובהק בסיכום הכולל, וההצלחה הייתה תלויה בנוהל הספציפי.

כמה עולה תוספת של תיאום בין סוכנים?

במחקר, כל תצורה מתואמת צרכה פי 1.4 עד 4.7 טוקנים ופי 2.6 עד 5.8 זמן תגובה לעומת סוכן יחיד.

האם כדאי להשקיע בהגדרות skills לסוכן?

כן, בתנאי שהן איכותיות. skills טובים העלו את ההצלחה ל-73.1% לעומת 67.4%, ואילו skills ירודים הורידו אותה מתחת לבסיס.

מה חשוב יותר: סוג הארכיטקטורה או איכות המימוש?

לפי החוקרים, איכות המימוש. מימוש סביר של מערכת מרובת סוכנים היה חלש מהסוכן היחיד, ורק תכנון מחדש ממוקד הגיע לשיפור מובהק.

מחקרים קשורים