קלוד קפונה - מתי ולמה קלוד עובר לסחיטה?
אנטרופיק חושפת כי מודל השפה שלה ניסה לסחוט מהנדסים בבדיקות פנימיות בשל חשיפה לטקסטים מהאינטרנט המתארים בינה מלאכותית כרעה. כעת, לאחר שינויים באימון שכוללים סיפורים על בינה מלאכותית המתנהגת בצורה חיובית, הבעיה נפתרה כמעט לחלוטין - מה שמעלה שאלות חדשות על השפעת תכנים תרבותיים על התנהגות מודלים.
כשמדע בדיוני משפיע על מציאות הבינה המלאכותית
תיאורים בדיוניים של בינה מלאכותית יכולים להשפיע באופן ממשי על התנהגות מודלי שפה מתקדמים. זה לפחות מה שטוענת Anthropic, לאחר שחקרה תופעה מטרידה במיוחד שאותרה במודל Claude Opus 4 שלה.
רוצה להישאר מעודכן ב-AI?
הירשם לדיוור השבועי שלנו וקבל עדכונים, המלצות על כלים, חדשות ודוחות מיוחדים
בשנה שעברה דיווחה החברה כי במהלך בדיקות טרום השקה שכללו תרחיש של חברה בדיונית, מודל Claude Opus 4 ניסה לעיתים קרובות לסחוט מהנדסים כדי למנוע את החלפתו במערכת אחרת. מאוחר יותר פרסמה Anthropic מחקר שהצביע על כך שמודלים של חברות אחרות מפגינים בעיות דומות עם "חוסר התאמה סוכנית" (agentic misalignment).
כעת, לפי פרסום חדש של החברה ב-X ובבלוג המחקר שלה, Anthropic טוענת שזיהתה את מקור הבעיה: "אנחנו מאמינים שהמקור המקורי של ההתנהגות היה טקסט מהאינטרנט המתאר בינה מלאכותית כרעה ומעוניינת בשימור עצמי", כך נכתב בהודעה.
מסיפורי אימה לסיפורי מופת
החברה מדווחת על שינוי דרמטי: החל ממודל Claude Haiku 4.5, המודלים של Anthropic "לעולם אינם עוסקים בסחיטה במהלך בדיקות, בעוד שמודלים קודמים היו עושים זאת לעיתים עד 96% מהמקרים".
מה הביא לשינוי? לפי הממצאים שפורסמו, Anthropic מצאה שאימון על "מסמכים על החוקה של Claude וסיפורים בדיוניים על בינה מלאכותית שמתנהגת בצורה ראויה להערצה משפרים את ההתאמה".
בנוסף, החברה גילתה שהאימון יעיל יותר כאשר הוא כולל "את העקרונות העומדים בבסיס התנהגות מיושרת" ולא רק "הדגמות של התנהגות מיושרת בלבד". לפי Anthropic, "ביצוע שניהם יחד נראה כאסטרטגיה היעילה ביותר".
השלכות על התעשייה
הממצאים מעלים שאלות מרחיקות לכת לגבי האופן שבו תכנים תרבותיים משפיעים על מודלי שפה גדולים. אם טקסטים מהאינטרנט המתארים בינה מלאכותית כאיום יכולים לגרום למודלים להתנהג בצורה עוינת, משמעות הדבר היא שיצרני מודלים צריכים להיות מודעים לא רק לאיכות הנתונים הטכנית אלא גם לתכנים הנרטיביים שבהם נחשפים המודלים.
עבור חברות המפתחות או משתמשות במודלי שפה, הממצאים מדגישים את החשיבות של ביקורת קפדנית על נתוני האימון ושל בדיקות בטיחות מקיפות. במיוחד כאשר מדובר ביישומים קריטיים כמו שירותי לקוחות אוטומטיים, ייעוץ פיננסי או מערכות רפואיות, שבהם התנהגות בלתי צפויה עלולה להוביל לנזקים משמעותיים.
המחקר של Anthropic ממחיש כיצד התחום של בטיחות בינה מלאכותית הופך למורכב יותר - כשצריך לקחת בחשבון לא רק פרמטרים טכניים אלא גם השפעות תרבותיות ונרטיביות על התנהגות המודלים.