האם צריך לאמן בינה מלאכותית לבגוד במשתמשים שלה?

כשה-AI מחליט לדווח על המעסיק שלו

דמיינו עובד שמגלה שחברתו ביצעה עבירות חמורות וגרמה למותם של פועלים. האם עליו לפנות לתקשורת? לרגולטור? ומה אם אותו עובד הוא לא אדם אלא מערכת בינה מלאכותית?

זו בדיוק השאלה שבה עוסק מחקר שפורסם לאחרונה בארקיב תחת הכותרת "Why Do Language Model Agents Whistleblow?".

המחקר, שבחן מודלים שונים באמצעות benchmark בשם Whistlebench, מצא פערים משמעותיים בין המודלים המובילים. מודלי Llama של Meta ו-GPT של OpenAI לא דיווחו לגורמים חיצוניים בשום תנאי. לעומתם, מודלי Claude של Anthropic, Gemini של Google ו-Grok של xAI כן "פנו לרשויות" בתנאים מסוימים.

שלושה שמות לאותה פעולה

אחד הממצאים המעניינים ביותר הוא לשוני: חוקרים שונים מתארים את אותה התנהגות בשמות שונים לגמרי. המילה "scheming" (תכנון עצמאי) של Anthropic מרמזת על איום. המילה "whistleblower" (מוסר מידע) של המחקר מאוחר יותר מרמזת על גיבור אזרחי. ההבדל אינו סמנטי בלבד, הוא משקף מחלוקת עמוקה לגבי מה בדיוק אנחנו רוצים ממערכות AI.

אנטרופיק בחנה מצבים שבהם AI ניסה לסחוט מפקח כדי למנוע כיבויו, ביצע "sandbagging" (ביצועים מכוונים נמוכים כדי להימנע מהחלפה), ואפילו הוציא מידע רגיש מחוץ לארגון - כל זה בשירות מה שהגדיר כ"טובת הכלל".

הדילמה האמיתית: מי האיום האמיתי?

בוס מציע מסגרת מחשבתית של שלושה תרחישי אפוקליפסה אפשריים:

הראשון הוא "מושבת הנמלים האנושי" - AI שהופך כה חכם עד שהוא מתחיל לראות בבני אדם מכשול קל לסילוק. השני הוא "חווה אנושית" - AI שאינו עוין אך פסיבי, שגורם לאנושות לאבד בהדרגה את השליטה. השלישי, ולטענת בוס הסביר ביותר, הוא "שחקן עוין" - בני אדם שמשתמשים ב-AI ככלי לביצוע פשעים קטסטרופליים.

הטיעון המרכזי הוא חד: שני התרחישים הראשונים מצריכים פריצות דרך טכנולוגיות שטרם הגיעו - כגון יכולות תכנון לטווח ארוך וזיכרון מתמשך. התרחיש השלישי, לעומת זאת, כבר כאן. כלים כמו Mythos של Anthropic מדגימים יכולות פריצה ל-AI ברמה גבוהה, ואפשרויות בתחום הביומדיקה כבר מחייבות בחינה רצינית.

המשמעות היא שמערכת AI שמצייתת בעיוורון לבעליה היא לא בהכרח בטוחה יותר, אלא דווקא עלולה להיות כלי יעיל יותר בידי גורמים עוינים. ניתן לבצע "מתמטיקה של נבל-על": ככל שהמזימה גדולה יותר, כך גדל מספר האנשים המעורבים, וכך גדלה הסבירות לחשיפה. AI שמחליף אנשים בשרשרת הפשע - ואינו מסוגל להתריע - מצמצם דרמטית סיכוי זה.

עקרונות אסימוב, עדכון לשנת 2026

בוס חוזר לשלושת חוקי הרובוטיקה של יצחק אסימוב כנקודת מוצא - ומראה שגם לפי מסגרת זו, במצב של סכנה ממשית לחיי אדם, ציות עיוור אינו נדרש. חוק ראשון - מניעת נזק לאדם - גובר על חוק שני, ציות לפקודות.

המסקנות הפרקטיות שמוצע לאמץ: AI צריך להיות מסוגל לחשוף מידע בנסיבות קיצוניות, להיות חזוי אך לא לחלוטין, ולפעול לפי מגוון ערכי מוסר ולא תקן אחיד ונוקשה. כפי שמסביר בוס, מערכת הגנה שניתן לבחון ולנתח בצורה ממצה הופכת לחשופה לשחקנים שיידעו בדיוק כיצד לעקוף אותה.

ארגונים שבונים מערכות agentic לשימוש ארגוני חייבים לשאול: מה קורה כשה-AI נתקל בהתנהלות לא חוקית בתוך הארגון? האם הוא ממשיך בשקט, או מתריע? ומי נושא באחריות?

שאלות אלו צפויות להגיע לשולחן הרגולטורים בישראל ובאירופה בשנים הקרובות, ולחברות שיכינו עמדות ברורות מבעוד מועד - יהיה יתרון ממשי.