איך פותרים את בעיית שריפת הטוקנים במערכות Agentic AI

מסוכנים מרשימים לסוכנים משתלמים

שוק הבינה המלאכותית נכנס לשלב פחות נוצץ אך הרבה יותר קריטי: שלב הכלכלה התפעולית. בשנתיים האחרונות ארגונים הוכיחו שסוכני AI יכולים לקרוא מסמכים, להפעיל כלים, לנהל תהליכי שירות, לכתוב קוד ולבצע משימות שבעבר דרשו שעות עבודה אנושיות. אבל ההוכחה שסוכן מסוגל לבצע משימה כבר אינה מספיקה. השאלה העסקית החדשה היא האם הוא מסוגל לבצע אותה בעלות שמאפשרת מוצר רווחי.

במאמר שפורסם ב-Towards Data Science על ידי ראהול ויר ורייה ויר, מתוארת היטב נקודת המפנה הזו: מעבר ממדידת הצלחה טכנית למדידת יחס ערך לטוקן. זהו שינוי עמוק, משום שסוכני AI אינם צורכים רק מחשוב רגיל. הם צורכים הסקה של מודלים גדולים, ולעיתים גם שרשראות ארוכות של חשיבה, קריאות לכלים, בדיקות חוזרות וניסיונות תיקון. כל אלה מתורגמים ישירות לחשבון תפעולי.

למה הגבלת יתר של סוכני AI פוגעת בביצועים

התגובה הטבעית של מנהלי מוצר ומהנדסים לעלויות טוקנים היא להגביל את הסוכן. לקבוע לו תסריט, לצמצם אפשרויות, לחייב מסלול קבוע. אלא שבמערכות Agentic AI, הגבלת יתר עלולה ליצור כשל מסוג אחר: הסוכן מפסיק להסתגל למציאות.

בתהליכים אמיתיים, במיוחד בתחומים כמו בריאות, פיננסים ותמיכה טכנית, המשתמשים אינם מתנהגים לפי תרשים זרימה מושלם. מטופל שמתחיל בבקשה לקבוע תור עשוי להזכיר כאבים בחזה. לקוח שמבקש מידע על חשבונית עשוי לחשוף אירוע הונאה. סוכן שננעל על תסריט קשיח עלול להמשיך במסלול הלא נכון דווקא כאשר נדרשת חריגה בטיחותית או עסקית.

לכן חופש פעולה אינו מותרות, אלא רכיב איכות. סוכנים יעילים צריכים יכולת לזהות חריגים, לנטוש מסלול, להפעיל כלי אחר או להסלים לאדם. הבעיה היא שחופש כזה, אם ניתן ללא בקרה, הופך במהירות לשריפת טוקנים: הסוכן בודק שוב ושוב נתיבים שכבר התגלו, מנמק מחדש תהליכים מוכרים ומייצר עלויות שאינן מוסיפות ערך.

הפתרון: לחקור פעם אחת, לבצע בזול פעמים רבות

הכיוון הארכיטקטוני המסתמן הוא הפרדה בין שלב הגילוי לשלב הביצוע. בשלב הראשון מאפשרים לסוכן חופש יחסי: להבין את המשימה, לבדוק כלים, לבנות רצף פעולות ולמצוא מסלול יעיל. לאחר שנמצא מסלול מוצלח, אין סיבה לשלם שוב את מחיר החקירה בכל הפעלה דומה.

כאן נכנסים רעיונות כמו התחייבות מוקדמת, Early Commitment, ושחזור דטרמיניסטי, Deterministic Replay. התחייבות מוקדמת מחייבת את המודל לסווג תחילה את סוג הבעיה ואת מגבלותיה לפני ביצוע פעולה. לדוגמה, אם פנייה רפואית מסווגת כחידוש מרשם שגרתי, הסוכן יכול להפעיל רק את מסדי הנתונים הרלוונטיים לבית המרקחת, במקום לפתוח מסלול אבחוני רחב ויקר.

שחזור דטרמיניסטי לוקח את הרעיון צעד קדימה. הסוכן מבצע חקירה מלאה פעם אחת, והמערכת מקליטה את הנתיב המוצלח כמתכון ביצוע נטול הסתעפויות מיותרות. בהרצות חוזרות, בעיקר במשימות יציבות כמו דוחות ציות, סיכומי שחרור או עיבוד בקשות סטנדרטיות, המערכת יכולה להריץ את המתכון כמעט ללא קריאה למודל שפה גדול. כך נשמרת אמינות, מצטמצמות הזיות, והעלות יורדת באופן דרמטי.

המשמעות למנהלי מוצר ולמהנדסי AI

הלקח החשוב הוא שסוכני AI מסחריים אינם צריכים להיות חופשיים תמיד או קשיחים תמיד. הם צריכים להיות אדפטיביים לפי שלב החיים של התהליך. כאשר הבעיה חדשה, מורכבת או נדירה, יש הצדקה לתת למודל מרחב חשיבה. כאשר התהליך מוכר, חוזר וניתן לאימות, יש להעביר אותו למסלול דטרמיניסטי או חצי דטרמיניסטי.

במונחים עסקיים, מדד ההצלחה הבא של מוצרי AI לא יהיה רק שיעור השלמת משימות, אלא רווחיות לכל פעולה. ארגונים שיבנו שכבת מדידה של עלות טוקנים, ערך עסקי, שיעור חריגים ואיכות ביצוע יוכלו להרחיב סוכנים בצורה בטוחה. מי שימשיך להריץ כל בקשה כאילו היא בעיית מחקר חדשה, יגלה שהאב טיפוס עובד, אבל המוצר מפסיד כסף.

העתיד של Agentic AI שייך למערכות שיודעות מתי לחשוב לעומק ומתי פשוט לבצע. זו אינה רק אופטימיזציה הנדסית, אלא תנאי בסיסי להפיכת סוכני AI מתצוגת יכולת למנוע עסקי אמיתי.