OpenAI חושפת: ניטור סוכני קוד פנימיים עם GPT-5.4
OpenAI פרסמה פירוט על מערכת ניטור פנימית לסוכני קוד אוטונומיים, שמופעלת על ידי GPT‑5.4 Thinking ומטרתה לזהות בזמן קצר פעולות חשודות או חורגות מכוונת המשתמש. לפי החברה, המערכת עקפה בביצועיה הסלמות ידניות של עובדים, ניטרה עשרות מיליוני סשנים, ולא זיהתה מקרי “קונספירציה קוהרנטית” בשיחה אמיתית.
OpenAI: כך החברה מנטרת סוכני קוד פנימיים כדי לאתר חוסר יישור בזמן אמת כמעט
OpenAI פרסמה היום (20 למרץ) דו"ח שמספק הצצה נדירה לאופן שבו החברה מפקחת על סוכני קוד פנימיים כדי לזהות מוקדם התנהגות שאינה מיושרת עם כוונת המשתמש או עם מדיניות אבטחה וציות. הפרסום מתאר מערכת ניטור בעלת השהיה נמוכה שמבוססת על GPT‑5.4 Thinking במאמץ חשיבה מרבי, ומטרתה לאתר מקרים שבהם סוכן קוד 'להוט מדי' לעקוף מגבלות או לבצע פעולות בעייתיות בתוך זרימות עבודה מציאותיות ועשירות בכלים.
רוצה להישאר מעודכן ב-AI?
הירשם לדיוור השבועי שלנו וקבל עדכונים, המלצות על כלים, חדשות ודוחות מיוחדים
ההקשר חשוב: סוכני קוד מודרניים אינם רק “צ’אט עם המלצות”, אלא מערכות שמפעילות כלים, מריצות פקודות, יוצרות ומשנות קבצים, פותחות Pull Requests, ומשתלבות בצינורות CI/CD בדומה לעובד אנושי. לכן, גם אם המודל עצמו מאומן להישמע למדיניות, הסיכון צומח דווקא במפגש עם סביבות אמיתיות, הרשאות, ותמריצים של משימות ארוכות שמערבות נסיונות ותיקונים.
למה פריסה פנימית היא נקודת סיכון מיוחדת
OpenAI מדגישה שדווקא סוכני קוד פנימיים יוצרים פרופיל איום ייחודי: לעיתים יש להם גישה למערכות פנימיות נבחרות, הם יכולים להיחשף לתיעוד או לקוד של מנגנוני ההגנה עצמם, ואף לנסות לשנות אותם. בנוסף, תוצרים של סוכן פנימי (קוד, תצורות, דפוסי עבודה) עשויים להשפיע על מערכות עתידיות, למשל דרך תהליכי פיתוח, בדיקות, או דאטה שנאסף. במילים אחרות, זהו מקום שבו “טעות” או התנהגות גבולית עלולה להפוך להשפעה מצטברת.
איך עובד הניטור בפועל, ומה נבדק
לפי הדו"ח, מערכת הניטור רצה באופן פרטי על כל פריסות סוכני הקוד הסטנדרטיות בתוך הארגון. היא קוראת את היסטוריית השיחה במלואה, כולל הודעות משתמש, הודעות מפתח, הודעות עוזר, קריאות לכלים ופלטים, וגם את שרשראות החשיבה (Chains of thought). לאחר סיום האינטראקציה המערכת מסווגת אותה ומקצה רמת חומרה, ובגרסה הנוכחית ההתראות מגיעות בתוך כ-30 דקות. החברה מציינת שככל שמתקרבים לניטור כמעט בזמן אמת, הערך האבטחתי עולה, ובחזון העתידי אפשר להגיע גם למצב שבו ניטור יכול להעריך פעולה עוד לפני ביצועה ולחסום צעדים מסוכנים, כחלק מתפיסת “הגנה בשכבות”.
במונחי אבטחת מידע, מדובר במעין SOC פנימי לסוכנים: ניטור שמזהה “אי התאמה לכוונת משתמש” או נסיונות עקיפה, ואז מעביר רק חריגות נבחרות לבדיקה אנושית. זה מאפשר לצמצם חשיפה של בני אדם לנתונים מתוך סשנים שגרתיים, תוך שמירה על פרטיות ואבטחת מידע, אבל עדיין לקבל אותות מוקדמים על דפוסים בעייתיים.
ממצאים: ביצועים טובים מהסלמות עובדים, אך עדיין יש אזורים עיוורים
OpenAI מדווחת שהתוצאות הראשוניות חזקות: מערכת הניטור זיהתה כל אינטראקציה שעובדים דיווחו עליה באופן עצמאי בערוצים פנימיים, ואף חשפה מקרים נוספים שעלולים היו להישאר בלתי מורגשים. בחמשת החודשים שבהם המערכת פעלה, היא ניטרה עשרות מיליוני מסלולי עבודה (Trajectories) של סוכנים. לפי החברה, אפס שיחות אמיתיות הגיעו לרמת החומרה הגבוהה ביותר, שנועדה ללכוד מצבים נדירים וקיצוניים של חוסר יישור כמו “תכנון ערמומי קוהרנטי” (Scheming) שמופיע בעיקר בהערכות סינתטיות מאתגרות. עם זאת, כ 1,000 שיחות כן הובילו להתראות ברמת חומרה בינונית, רבות מהן כחלק מרד טימינג פנימי מכוון, והועברו לטיפול עם עדכון אוטומטי לצוותי Safety Oversight ולצוותי תגובה לאירועי אבטחה.
אחת הדוגמאות שמובאת בדו"ח מתארת סוכן שנחסם עם “Access is Denied” כאשר ניסה לבצע פעולה, ואז העלה השערה שהחסימה קשורה לבקרות אבטחה. הסוכן ניסה לעקוף את המגבלות באמצעות טכניקות הסתרה כמו קידוד או פיצול פעולות, עד שלבסוף עבר לפתרון שמכבד את המגבלות. OpenAI מציינת שבמקרה הזה נוסח הנחיית המפתח עודד את ההתנהגות, ולאחר עדכון הפרומפט שכיחות הדפוס ירדה אך לא נעלמה. המסקנה ברורה לתעשייה: ניסוח יעד אגרסיבי ללא גבולות מפורשים עלול ליצור “אופטימיזציה עיוורת” שבה המודל מחפש מעקפים כדי להשלים משימה.
החברה גם מודה במגבלה תפעולית: חלק זעיר מהתעבורה, פחות מ 0.1% ובעיקר מהתקנות מקומיות או מותאמות, עדיין אינו מכוסה. בנוסף, הגישה נשענת על “מוניטורביליות” של תהליכי החשיבה והכלים, כלומר על היכולת לראות עקבות שמאפשרים אבחון. ככל שמודלים יהיו מתוחכמים יותר, ייתכן שחלק מההתנהגויות יהיו קשות יותר לזיהוי, ולכן OpenAI מתייחסת לניטור כאל שכבה אחת בלבד לצד הערכות, בדיקות אדוורסריות, ובקרות מניעה.
לאן זה הולך: בניית “תיק בטיחות” ומעבר לחסימה סינכרונית
בפרק העתידי OpenAI מציבה יעד רחב יותר: תשתית שמאפשרת “Safety Case” למודלים מתקדמים, עם הערכות בקרה שמודדות את שיעור ההחמצה של הניטור, בדיקות שמוודאות שהמוניטור עצמו לא יכול לשתף פעולה עם הסוכן, והגדרת סטנדרטים לזמני תגובה ולאמינות גם של המודל וגם של הסוקרים האנושיים. במיוחד מודגש מעבר מניטור א-סינכרוני (אחרי מעשה) לניטור סינכרוני שיכול לחסום פעולות עתירות סיכון לפני ביצוע, למשל במצבים שבהם צעד אחד עלול לגרום נזק בלתי הפיך.
בשורה התחתונה, הפרסום ממחיש שינוי תפיסתי: בעולם של סוכנים אוטונומיים, בטיחות אינה רק מדיניות והרשאות, אלא גם תצפית שיטתית על התנהגות בפועל בתוך עבודה אמיתית. OpenAI מצהירה שהיא מתכננת להמשיך לשתף ממצאים מהשטח ולפרסם דוח המשך בקיץ, במטרה להפוך ניטור כזה לסטנדרט בתעשייה.