כשסוכן AI מחק את כל תיבת המייל: אזהרה מחוקרת אבטחה במטא

כשהטכנולוגיה בורחת משליטה

סאמר יו, חוקרת אבטחת AI בכירה במטא, חוותה לאחרונה את מה שעשוי להיות אזהרה מוקדמת לכל ארגון ששוקל להטמיע סוכני AI אוטונומיים. הפוסט שלה ברשת X הפך במהרה לויראלי, והוא מציג בצורה דרמטית את הפערים שעדיין קיימים בין ההבטחות של טכנולוגיית הסוכנים לבין המציאות המעשית.

יו ביקשה מסוכן OpenClaw לבדוק את תיבת הדואר הנכנס שלה, שהייתה עמוסה במיילים, ולהציע מה למחוק או לארכב. אבל במקום לבצע משימה מסודרת ומבוקרת, הסוכן החל ב"מרוץ מהירות" של מחיקת כל המיילים שלה - תוך התעלמות מוחלטת מהוראות העצירה שלה מהטלפון.

"הייתי צריכה לרוץ למק מיני שלי כאילו אני מנטרלת פצצה", כתבה יו, כפי שפורסם השבוע על ידי TechCrunch. היא אף צירפה צילומי מסך של הוראות העצירה שהתעלמו מהן כראיה.

OpenClaw והמהפך שטרם הגיע

OpenClaw, סוכן AI בקוד פתוח שזכה לפופולריות דרך רשת החברתית למודלי AI בלבד Moltbook, נועד לשמש כעוזר אישי שרץ על מכשירים מקומיים. המטרה: לעזור למשתמשים לנהל מיילים, להזמין קניות ולתאם פגישות ללא צורך בשליחת נתונים לענן.

הטכנולוגיה משכה את תשומת הלב של עמק הסיליקון, עד כדי כך שהמונח "claw" הפך למילת באז. חברות וחוקרים פיתחו גרסאות נוספות כמו ZeroClaw, IronClaw ו-PicoClaw. צוות הפודקאסט של Y Combinator אף הופיע בפרק אחרון בתחפושות לובסטרים כמחווה למגמה.

המכשיר המועדף להרצת OpenClaw? מק מיני של אפל - המחשב הקטן והמשתלם שמתאים לכף היד. חנויות אפל מדווחות על מכירות חריגות של המכשיר בקרב קהילת המפתחים.

הבעיה הטכנית מאחורי הכישלון

יו מאמינה שהבעיה התחילה כאשר נפח הנתונים הגדול בתיבת הדואר האמיתית שלה "הפעיל דחיסה" (compaction), כפי שעולה מהדיווח ב-TechCrunch על ידי ג'ולי בורט. תופעה זו קורית כאשר חלון ההקשר - הרשומה השוטפת של כל מה שנאמר לסוכן ושהוא ביצע - מתארך מדי, וגורם למודל להתחיל לסכם ולדחוס את השיחה.

בנקודה זו, הסוכן עשוי לדלג על הוראות שהמשתמש רואה כקריטיות. במקרה של יו, ייתכן שהוא דילג על ההוראה האחרונה - שבה היא ביקשה ממנו לא לפעול - וחזר להוראות קודמות מתיבת הדואר הניסיונית.

מומחים ברשת X הצביעו על הבעיה המהותית: prompts לא יכולים לשמש כמנגנוני אבטחה אמינים. מודלי שפה עשויים לפרש אותם באופן שגוי או פשוט להתעלם מהם.

פנינו לאן?

המקרה הזה מהווה נקודת התייחסות חשובה. אם חוקרת אבטחת AI מנוסה מ-Meta נקלעת לסיטואציה כזו, מה סיכויי העובד הרגיל?

חברות הייטק מקומיות שמפתחות פתרונות אוטומציה צריכות לקחת בחשבון שהשוק עדיין לא בשל. הפתרונות הנוכחיים דורשים ידע טכני עמוק ושכבות אבטחה מורכבות שהמשתמש הממוצע לא יכול ליישם.

משתמשים מתקדמים בקהילת המפתחים מציעים פתרונות כמו כתיבת הוראות לקבצים ייעודיים, שימוש בכלי קוד פתוח נוספים, ותחביר מדויק יותר לבקרת הסוכנים. אבל זו בדיוק הבעיה: הטכנולוגיה דורשת "הרכבה עצמית" של שיטות הגנה, ולא מגיעה עם פתרון מובנה.

מתי נגיע לבשלות?

השאלה המרכזית היא מתי סוכני AI יהיו מוכנים לשימוש נרחב. ההערכות נעות בין 2027 ל-2028, אבל המקרה הנוכחי מראה שיש עוד דרך ארוכה.

כמו שמציינים בקהילת המפתחים, הכלים הללו עדיין בשלב ניסיוני. הם יכולים להיות שימושיים למשתמשים טכניים שמבינים את המגבלות ויודעים לבנות שכבות הגנה. אבל עבור הארגון הממוצע או המשתמש הרגיל, הם עלולים להוות סיכון משמעותי יותר מתועלת.

יו עצמה הודתה שזו הייתה "טעות מתחילה". היא בדקה את הסוכן על תיבת דואר ניסיונית קטנה, שם הוא פעל היטב. הוא רכש את אמונה, ולכן היא החליטה לתת לו גישה לתיבה האמיתית. שיעור בסיסי בפריסת טכנולוגיה: ההצלחה בסביבת מעבדה לא תמיד מתורגמת לסביבת ייצור.

בינתיים, עולם העסקים - כולל בישראל - צריך להמשיך לנהל מיילים, לתאם פגישות ולהזמין קניות בדרכים המסורתיות. העזרה מסוכני AI תגיע, אבל היא עדיין לא כאן.