Microsoft משיקה תקן פתוח לשליטה בהתנהגות סוכני AI

מייקרוסופט מציגה תקן אחיד לשליטה בסוכני AI בסביבות ארגוניות

אחת האתגרים המרכזיים שעומדים כיום בפני ארגונים המפרסים סוכני AI היא שאלת השליטה: כיצד מבטיחים שסוכן יפעל לפי הכללים שהוגדרו לו, גם כאשר הוא פועל על פני מערכות, פלטפורמות ופריימוורקים שונים? מייקרוסופט מנסה לתת לשאלה הזו מענה מובנה עם השקת Agent Control Specification - תקן קוד פתוח שנועד לאחד את שכבת הממשל של סוכני AI.

הבעיה שה-ACS בא לפתור

כיום, מפתחים שרוצים לשלוט בהתנהגות סוכן AI נאלצים להסתמך על שילוב של שיטות: הוראות ב-system prompt, בדיקות מותאמות אישית בקוד האפליקציה, או classifier לזיהוי קלטים ופלטים בעייתיים. גישות אלה פועלות, אך הן מייצרות בקרות מפוצלות שקשה לבקר ועוד קשה יותר לשימוש חוזר - בעיה שהולכת ומחריפה ככל שארגונים מפרסים יותר סוכנים על פני יותר מערכות.

הסיכון אינו תיאורטי. OWASP כבר זיהתה שימוש לרעה בכלים ופעולות לא מכוונות שגוררות כשלים מדורגים כאיום מרכזי בסביבות AI אגנטיות - ומה שחסר הוא שפה משותפת לניהול הסיכון הזה.

כיצד ה-ACS עובד

ה-ACS מגדיר קבצי מדיניות ניידים שניתן לצרף ישירות לסוכן. הקובץ מתאר מה הסוכן רשאי לעשות, מה אסור לו לבצע, מתי נדרשת אישור אנושי, ומה יש לתעד לצורך ביקורת עתידית. הבקרות הללו נבדקות במספר נקודות התערבות לאורך מחזור חיי הסוכן:

• לפני קבלת קלט - בדיקת הקשר ההתחלתי
• לפני קריאה לכלי חיצוני - אישור שפעולה מותרת
• לאחר חזרת תוצאה מכלי - בדיקת הפלט
• לפני שליחת תשובה סופית למשתמש - אחרון קו ההגנה

מדיניות יכולה לאפשר פעולה, לחסום אותה, לערוך מידע רגיש, או להעביר אותה לאישור אנושי. המפתחים יכולים גם לשלב classifier לקיטלוג קלטים ופלטים, להוסיף LLM בתפקיד "שופט" למדיניות מורכבות, ולהגדיר לוגיקה מפורטת לבדיקת קריאות לכלים.

אינטגרציה רחבה עם הסביבה הקיימת

ה-SDK של ACS כולל תוספים ל-LangChain, OpenAI Agents SDK, Anthropic Agents SDK, AutoGen, CrewAI, Semantic Kernel, Microsoft.Extensions.AI ו-MCP tools - כלומר, ניתן לשלב אותו בתשתית הפיתוח הקיימת ללא צורך בשינוי ארכיטקטורה מהותי.

עבור חברות ישראליות שבונות מוצרי AI אג'נטי - ה-ACS מציע מענה לשאלה שלא מעט לקוחות כבר מעלים בשלב ה-due diligence: "כיצד אנו מבטיחים שהסוכן לא יחרוג מסמכויותיו?" היכולת לייצר קובץ מדיניות שניתן להציג לצוות הציות, לבקר אותו, ולאכוף אותו באופן אוטומטי - היא יתרון תחרותי בשיחות מכירה ל-enterprise.

ג'ונתן קוזמנקו, חוקר מודלי AI ומוביל צוותי יישום ופיתוח של פתרונות AI בארגונים, מסביר כי השוק צמא לפתרונות מסוג זה. חברות חוששות להטמיע טכנולוגיות AI מסיבות אבטחה ותחושות של העדרה שליטה בסוכנים.

"במיוחד עבור חברות הפועלות בסביבות מרובות ענן ומרובות פריימוורקים, הפורמט הנייד של קבצי ה-ACS יכול לפשט את האכיפה הרגולטורית ולהפחית את העומס מצוותי ה-GRC. זוהי לא רק שאלה של פיתוח - זוהי שאלה של ממשל תאגידי". מוסיף.