OpenAI מדווחת שהצלחת חילוץ החשיבה ממודליה צנחה מ-54% ל-0.2%
מאת מערכת זירת AI · פורסם: · עודכן:
OpenAI חושפת את מערך ההגנות שלה נגד זיקוק עוין, ניסיון לשכפל את יכולות המודלים שלה ללא מנגנוני בטיחות. בגרסאות GPT-6.2 Astra ו-Sol שיעור ההצלחה של מתקפות לחילוץ שרשרת החשיבה ירד מ-54% ל-0.2%, והחברה אוכפת מדי שבוע נגד אלפי עד עשרות אלפי חשבונות ומאשימה גורמים סיניים בניסיונות זיקוק.
בקצרה:
- במחקר הפנימי, היתרון של אימון על חשיבה מלאה לעומת תקצירים השתנה לפי תקציב ההסקה.
- מסווגי הפלט מחפשים דליפות גם בארגומנטים של קריאות לכלים, ולא רק בתשובה הסופית.
- OpenAI ממליצה לשמור מתקפות מוצלחות כמבחני רגרסיה ולשלב הגנות ברמת הבקשה והקמפיין.
- נתוני ההצלחה מבוססים על הערכות פנימיות של OpenAI, ללא בדיקה חיצונית בלתי תלויה.
OpenAI פרסמה פירוט של ההגנות שבנתה נגד "זיקוק עוין": ניסיון לאמן מודל מתחרה על בסיס תוצרים של מודל מתקדם, ללא אישור, כדי לשכפל את יכולותיו בלי מנגנוני הבטיחות שנלוו אליהן. לפי החברה, בגרסאות החדשות GPT-6.2 Astra ו-GPT-6.2 Sol ההגנות הוחמרו באופן משמעותי. שיעור ההצלחה הממוצע של ניסיונות לחלץ את תהליך החשיבה הפנימי של המודל ירד מ-54% בדור הקודם ל-0.2% בלבד.
מדוע זיקוק הוא סוגיית בטיחות
זיקוק הוא שיטה מקובלת בלמידת מכונה, שבה מודל "תלמיד" לומד מנתונים שמפיק מודל "מורה": תשובות, נימוקים או שיפוט איכות. לטענת OpenAI, מעבר לפגיעה בקניין הרוחני, זיקוק לא מורשה מאפשר להעביר יכולות מתקדמות למודל שאינו כפוף לאותן מגבלות. הסכנה בולטת במיוחד בתחומים דו-שימושיים כמו סייבר וביולוגיה: מודל שמסייע למגינים לאתר חולשות בתוכנה עשוי, בידיים אחרות, לסייע לנצל אותן.
החברה שמה דגש מיוחד על הגנת שרשרת החשיבה, כלומר שלבי הביניים שהמודל מייצר בדרך לתשובה. שלבים אלה מכילים לעיתים מידע שאינו מופיע בתשובה הסופית, ולכן הם חומר אימון יקר ערך במיוחד. במחקר פנימי אימנה OpenAI מודל תלמיד על מסלולי עבודה של מודלים ברמת Astra במשימות קוד והגנת סייבר. לאחר כוונון מפוקח, התלמיד שאומן על עקבות החשיבה המדויקות השיג בדרך כלל ביצועים טובים יותר מזה שאומן על תקצירי חשיבה בלבד. לאחר שלב נוסף של למידת חיזוק, היתרון נשמר בתקציב ההסקה הגבוה ביותר שנבדק במבחני הביצועים ExploitBench ו-SEC-bench Pro, אך בתקציבים נמוכים יותר דווקא התלמיד שאומן על תקצירים הוביל. OpenAI מציינת כי Anthropic דיווחה על ממצא דומה במבחן הנדסת תוכנה.
שתי שכבות הגנה שמחזקות זו את זו
ברמת הבקשה הבודדת, המודלים עוברים אימון עוין שמלמד אותם לזהות ניסיונות חילוץ ולסרב לחשוף את החשיבה המוגנת, תוך המשך מתן הסברים לבקשות לגיטימיות. לצד זאת פועלים מסווגי קלט שמזהים ניסיונות חילוץ ומסווגי פלט שמאתרים דליפות, גם בתוך הארגומנטים של קריאות לכלים, ערוץ שבו מודל עלול לחשוף מידע בלי שיופיע בתשובה הסופית.
בשכבת ה-API, החשיבה המוגנת של המודלים החדשים קשורה כעת להיסטוריית השיחה שיצרה אותה. אם הודעה מוקדמת נערכת מחדש, החשיבה שבאה אחריה נמחקת. בנוסף, משפחות מודלים ישנות עם הגנות חלשות יותר אינן יכולות לקרוא את החשיבה של הדור החדש. החברה גם סגרה פרצה שעלולה הייתה לחשוף חשיבה מוצפנת של משתמש אחר.
נקודה חשובה: מה משתנה למפתחי API ב-API, עריכת הודעה מוקדמת מוחקת את החשיבה המוגנת שנוצרה אחריה. משפחות מודלים ישנות עם הגנות חלשות יותר אינן יכולות לקרוא את החשיבה של הדור החדש.
ברמת הקמפיין, OpenAI מנטרת דפוסים בין חשבונות כדי לזהות ניסיונות חילוץ מתואמים. לדבריה, פעולות האכיפה השבועיות נגד קמפיינים כאלה נעו בין אלפי חשבונות לעשרות אלפים, והקצב עלה משמעותית בקיץ האחרון. ממצאי החקירות משמשים לאימון ההגנות, ואינדיקטורים לפריצה משותפים עם ספקי מודלים אחרים.
ההיבט הביטחוני והקריאה לחקיקה
OpenAI ממסגרת את הנושא גם כאיום על הביטחון הלאומי של ארצות הברית. בפברואר תדרכה החברה את הקונגרס על פעילות שלפיה DeepSeek ניסתה לזקק מודלים אמריקאיים מתקדמים, ובספטמבר ייחסה חלק מרכזי מקמפיין חילוץ שסוכל לאנשים הקשורים ל-Moonshot AI, מפתחת Kimi. החברה מודיעה כי היא תומכת בחקיקה שתעניק לממשל כלים לזהות ולהטיל סנקציות על גורמים זרים, וכן בהצעות החוק Chip Security Act, AI OVERWATCH Act ו-MATCH Act. לטענתה, פיקוח יצוא על חומרה והגנה מפני זיקוק משלימים זה את זה בשמירה על ההובלה האמריקאית.
לבסוף, החברה ממליצה למפתחים אחרים להגן על החשיבה לאורך כל האינטראקציה, לשמור תיעוד של מתקפות מוצלחות כמבחני רגרסיה, לשלב הגנות ברמת הבקשה עם חקירות ברמת הקמפיין ולתאם סטנדרטים עם שותפי הפצה. יש לזכור שהנתונים מבוססים על הערכות פנימיות של OpenAI עצמה, ולא על בדיקה חיצונית בלתי תלויה.
שאלות נפוצות
מה זה זיקוק מודלים בבינה מלאכותית, ומתי הוא נחשב עוין?
זיקוק מודלים הוא שיטת למידת מכונה שבה מודל „תלמיד” לומד מתשובות, נימוקים או הערכות שמפיק מודל „מורה”. לפי OpenAI, זיקוק עוין הוא ניסיון לא מורשה לשכפל יכולות של מודל מתקדם באמצעות תוצריו. הסיכון אינו רק פגיעה בקניין רוחני, אלא גם העברת יכולות בתחומים כמו סייבר וביולוגיה למודלים שאינם כפופים לאותם מנגנוני בטיחות.
מה זה שרשרת חשיבה במודל AI, ולמה מנסים לחלץ אותה?
שרשרת חשיבה היא רצף שלבי הביניים שהמודל מייצר בדרך לתשובה. לפי הכתבה, שלבים אלה עשויים להכיל מידע שאינו נכלל בתשובה הסופית, ולכן הם חומר אימון בעל ערך למודל אחר. במחקר הפנימי של OpenAI, אימון על עקבות חשיבה מדויקות הניב לעיתים ביצועים טובים יותר מאימון על תקצירים, אך היתרון השתנה בהתאם לתקציב ההסקה.
בכמה ירד שיעור ההצלחה של חילוץ החשיבה ממודלי OpenAI?
לפי OpenAI, שיעור ההצלחה הממוצע של ניסיונות חילוץ תהליך החשיבה הפנימי ירד מ־54% בדור הקודם ל־0.2% במודלים GPT-6.2 Astra ו־GPT-6.2 Sol. החברה מייחסת זאת להחמרת ההגנות. חשוב להדגיש שמדובר בנתונים מהערכות פנימיות שלה, ולא בתוצאות שאומתו בבדיקה חיצונית בלתי תלויה; הנתון גם אינו מעיד שכל סוגי המתקפות נחסמו.
איך OpenAI מגינה על שרשרת החשיבה מפני חילוץ?
OpenAI משלבת אימון עוין לזיהוי ניסיונות חילוץ, מסווגי קלט שמאתרים בקשות חשודות ומסווגי פלט שמזהים דליפות, לרבות בקריאות לכלים. בשכבת ה־API, החשיבה קשורה להיסטוריית השיחה ונמחקת אם הודעה מוקדמת משתנה. בנוסף, מודלים ישנים אינם יכולים לקרוא את חשיבת הדור החדש, והחברה מנטרת דפוסים בין חשבונות כדי לזהות קמפיינים מתואמים.
איך מפתחי AI יכולים לצמצם את הסיכון לזיקוק עוין?
לפי המלצות OpenAI המובאות בכתבה, מפתחי AI צריכים להגן על החשיבה לאורך כל האינטראקציה, ולא רק בתשובה הסופית. מומלץ לשמור תיעוד של מתקפות מוצלחות ולהשתמש בו במבחני רגרסיה, לשלב הגנות על בקשות בודדות עם חקירת קמפיינים מתואמים, ולתאם תקני הגנה עם שותפי הפצה כדי לצמצם נקודות תורפה לאורך שרשרת השימוש