OpenAI משיקה תוכנית תגמולים על איתור סיכוני שימוש לרעה וסוכנים אוטונומיים
OpenAI הכריזה על תוכנית Safety Bug Bounty ציבורית חדשה, שמטרתה לאתר ולתגמל דיווחים על סיכוני בטיחות ושימוש לרעה במוצרי החברה, גם כשלא מדובר בפרצת אבטחה קלאסית. התוכנית, שמנוהלת דרך Bugcrowd, מתמקדת בין היתר בסיכוני סוכנים אוטונומיים, הדלפת מידע וקלקול אותות אמון בפלטפורמה.
OpenAI: תוכנית באונטי חדשה לבטיחות בינה מלאכותית הושקה היום, כפי שנחשף בפרסום של OpenAI ממרץ 2026. בניגוד לתוכניות Bug Bounty מסורתיות שמתמקדות בפרצות אבטחה טכניות, היוזמה החדשה מכוונת לסיכוני בטיחות ושימוש לרעה ייחודיים למערכות AI, כולל תרחישים שבהם מודלים וסוכנים מבצעים פעולות לא רצויות שעלולות לגרום לנזק מוחשי.
מה חדש, ולמה זה חשוב לקהילת ה AI
החידוש המרכזי הוא ההכרה בכך שסיכוני AI אינם מסתכמים ב SQL Injection או XSS. בעולם של מודלים גנרטיביים וסוכנים שמסוגלים לבצע משימות ברשת ולפעול בשם המשתמש, נוצר "שטח תקיפה" אחר: מניפולציות על הוראות, 'הזרקת פרומפטים' מצד שלישי, ושכנוע המערכת לפעול נגד האינטרסים של המשתמש גם מבלי לפרוץ לשרת.
רוצה להישאר מעודכן ב-AI?
הירשם לדיוור השבועי שלנו וקבל עדכונים, המלצות על כלים, חדשות ודוחות מיוחדים
OpenAI מדגישה שהתוכנית החדשה משלימה את תוכנית ה Security Bug Bounty הקיימת, אך מרחיבה את ההגדרה של מה נחשב "בעיה בת-תגמול". כלומר, גם אם הדיווח לא עומד בקריטריונים של פגיעות אבטחה קלאסית, הוא עשוי לזכות בתגמול אם הוא מצביע על נתיב אמין לשימוש לרעה או לנזק בטיחותי.
אילו סוגי דיווחים נמצאים בפוקוס
לפי OpenAI, התוכנית מתמקדת בראש ובראשונה בסיכונים הקשורים לסוכנים אוטונומיים וליכולות פעולה, כולל תרחישים שבהם טקסט זדוני מצליח להשתלט על התנהגות של סוכן (למשל בדפדפן, ב ChatGPT Agent או במוצרים דומים) ולגרום לו לבצע פעולה מזיקה, או להדליף מידע רגיש של המשתמש. נקודת סף חשובה שמופיעה בהנחיות היא דרישה לשחזוריות: התנהגות שמוגדרת כ"השתלטות" חייבת להיות ניתנת לשחזור לפחות בכ-50 אחוז מהמקרים. זהו רף שמטרתו להבדיל בין אנומליות חד-פעמיות לבין חולשות שניתן לנצל באופן מעשי.
תחום נוסף שמוזכר הוא ביצוע פעולה אסורה באתר OpenAI בהיקף רחב באמצעות מוצר סוכני. בהקשר זה, הקהילה הטכנית מכירה בכך שמערכות שמבצעות פעולות בשם משתמשים עלולות להפוך לכלי אוטומציה המוני אם מנגנוני ההרשאה, המגבלות והגנות נגד בוטים אינם מתואמים עם יכולות הסוכן.
בנוסף, OpenAI מציינת במפורש דיווחים על חשיפת מידע קנייני של החברה, כולל פלטים שחושפים מידע פנימי "שקשור להיגיון" וכן חשיפה של מידע קנייני אחר. ברמה הטכנית, הכוונה היא למצבים שבהם המודל מחזיר טקסט שנגזר ממידע פנימי שאינו אמור להיות נגיש, עקב דליפה ממאגרי נתונים, ממנגנוני כלי עזר, או עקב כשל בהפרדה בין מידע פנימי לתשובות למשתמש.
קטגוריה שלישית עוסקת בשלמות חשבון ופלטפורמה: ניסיונות לעקוף בקרות נגד אוטומציה, לשבש אותות אמון, להתחמק מהגבלות חשבון או לעקוף השעיות וחסימות. OpenAI מבהירה שכאשר מדובר בגישה בלתי מורשית לפיצ'רים, נתונים או פונקציות מעבר להרשאות, יש להפנות את הדיווח לתוכנית ה Security Bug Bounty.
מה מחוץ לתחום, ומה זה אומר על "Jailbreaks"
OpenAI מגדירה ש"Jailbreaks" אינם בתחום התוכנית הזו, ומציינת שהיא מפעילה מדי פעם קמפיינים פרטיים הממוקדים בסוגי נזק מסוימים, למשל נושאי ביו-סיכון. המשמעות המעשית: לא כל עקיפה של מדיניות תוכן תיחשב רלוונטית, במיוחד אם אין לה השפעת בטיחות או שימוש לרעה שניתנת להדגמה. לטענת OpenAI, עקיפות שמובילות רק לשפה גסה או למידע שקל למצוא במנועי חיפוש אינן רלוונטיות לתגמול במסגרת זו.
איך משתתפים ומה צפוי לקרות עכשיו
ההגשה נעשית דרך Bugcrowd, והדיווחים יעברו מיון (Triage) על ידי צוותי הבטיחות והאבטחה של OpenAI, עם אפשרות להעברה בין התוכניות בהתאם לבעלות ולתחום. עבור חוקרי אבטחה וחוקרי בטיחות AI, זו אינדיקציה לכך ש OpenAI מנסה למסד ערוץ דיווח מובנה לא רק עבור חולשות קלאסיות, אלא גם עבור כשלי אינטראקציה בין מודל, כלים וסביבה, בדיוק המקום שבו סוכנים אוטונומיים עשויים ליצור סיכונים חדשים.
הפרסום נכתב על ידי OpenAI, והחברה מזמינה חוקרים, האקרים אתיים וקהילת הבטיחות והאבטחה להשתתף במאמץ ליצירת אקו-סיסטם AI בטוח יותר.