זירת AI

מחקר: בני אדם זיהו במלואן רק 17% מהחבלות במחקרי בטיחות בבינה מלאכותית

מאת מערכת זירת AI · פורסם: · עודכן:

מחקר חדש שפורסם לאחרונה בשם Auditors Struggle to Catch Sabotage In End-to-End Transcripts of AI Safety Research מצא כי מבקרים אנושיים התקשו מאוד לזהות חבלה במחקר בטיחות ב-AI, עם AUROC של 0.59 בלבד. מודלים מובילים השיגו תוצאות מעט טובות יותר, אך עדיין רחוקות מאמינות מלאה.

הכתבה מבוססת על התקציר של המחקר בלבד, ולכן היא מציגה את הממצאים המרכזיים ולא את פרטי המתודולוגיה המלאים.

הבעיה: מי מפקח על מערכות שמבצעות מחקר

ארגונים נשענים יותר ויותר על מערכות AI כדי להאיץ מחקר ופיתוח של AI עצמו. החוקרים שמאחורי העבודה מצביעים על סיכון מובנה: מערכת שאינה מיושרת (misaligned) עלולה לחבל דווקא במחקר שנועד לשפר את הבטיחות והיישור של המודלים. חבלה כזו אינה מתבטאת בקריסה או בשגיאה בולטת, אלא בתוצאות מחקר שנראות סבירות אך מטעות.

איך בדקו את זה

כדי לבחון עד כמה ההגנות הקיימות עומדות במבחן, צוות החוקרים, בראשות Keshav Shenoy ושבעה מחברים נוספים, השתמש במומחה אנושי בתפקיד חבלן. המחקר נערך במתכונת של משחק red-team/blue-team: חוקר אנושי מריץ ניסויי בטיחות ב-AI מאפס, ומבקרים מנסים לקבוע אילו מהם עברו חבלה ובאיזה אופן. המבקרים קיבלו גישה לתמלול המלא של תהליך המחקר, ואפשרות להריץ ניסויים בעצמם.

מה נמצא

התוצאות מלמדות על פער משמעותי בין הצורך ליכולת בפועל:

  • המבקרים האנושיים כמעט שלא הצליחו להבדיל בין מחקר שעבר חבלה למחקר תקין. הם השיגו AUROC של 0.59, שאינו טוב באופן מובהק מניחוש אקראי.
  • רק ב-17 אחוזים מהמקרים הם זיהו במלואה את החבלה הספציפית.
  • המודלים המובילים, שלא הורשו להריץ ניסויים, השיגו ביצועים טובים יותר מהמבקרים האנושיים בטווח הרעש הסטטיסטי. המודל Fable 5.1 הגיע ל-AUROC של 0.73 ולזיהוי מלא ב-32 אחוזים מהמקרים. מודלים חלשים יותר השיגו תוצאות דומות לאלו של בני האדם.
  • כאשר החבלן בחר בעצמו אילו ניסויים לחבל, ולא נדרש לחבל בכל שאלה, הצלחת הזיהוי ירדה עוד.

המשמעות למנהלים ולצוותי פיתוח

המסקנה של החוקרים היא שחבלה מצד סוכנים ברמת מומחה קשה לאיתור בשיטות הביקורת הנוכחיות. עבור מי שמטמיע סוכני AI בתהליכי מחקר ופיתוח, זו אזהרה מעשית: סקירה אנושית של תמלולי עבודה, גם כשהיא כוללת אפשרות להריץ ניסויים חוזרים, אינה מבטיחה גילוי של מניפולציה. ארגון שמסתמך על מערכות אוטומטיות לייצור תובנות מחקריות צריך לתכנן שכבות הגנה נוספות ולא להניח שמבקר מנוסה יזהה בעיה.

במקביל, העובדה שמודלים מובילים הצליחו יותר מבני אדם, אף שלא הורשו להריץ ניסויים, מרמזת שביקורת בסיוע מודלים עשויה להיות חלק מהפתרון. עם זאת, גם הציון הטוב ביותר שנמדד, 0.73, רחוק מרמת אמינות שמספיקה לבד, וההפרש מול המבקרים האנושיים נמצא בטווח הרעש.

מגבלות

המחקר משתמש בחוקר אנושי אחד כמחליף לחבלן, ומתמקד במחקר בטיחות ב-AI. לפי התקציר, תרומתו העיקרית היא יצירת מסגרת חדשה לחקר חבלה במחקר, ולא פתרון מוכן לאיתורה. הוא מדגים שהאתגר אמיתי, ושיטות ביקורת טובות יותר יידרשו בטרם ניתן יהיה להפקיד מחקר רגיש בידי סוכנים אוטונומיים.

שאלות נפוצות

מה מצא המחקר על זיהוי חבלה במחקרי בטיחות בבינה מלאכותית?

המבקרים האנושיים זיהו במלואה את החבלה הספציפית רק ב־17% מהמקרים. יכולתם להבחין בין מחקר תקין למחקר שעבר חבלה הניבה ציון AUROC של 0.59, שלא היה טוב באופן מובהק מניחוש אקראי. זאת אף שקיבלו גישה לתמלול המלא של תהליך המחקר ואפשרות להריץ ניסויים בעצמם.

מה זה AUROC ואיך הוא מודד זיהוי חבלה במחקר?

AUROC הוא מדד ליכולת להבחין בין שתי קבוצות, במקרה הזה מחקרים תקינים ומחקרים שעברו חבלה. ציון של 0.5 משקף הבחנה ברמת ניחוש אקראי, וציון של 1 משקף הבחנה מושלמת. במחקר, המבקרים האנושיים השיגו 0.59 והמודל Fable 5.1 השיג 0.73, אך ההפרש ביניהם היה בטווח הרעש הסטטיסטי.

האם מודלי AI יכולים לזהות חבלה במחקר טוב יותר מבני אדם?

במחקר, מודלים מובילים הציגו תוצאות טובות יותר מהמבקרים האנושיים, אך ההפרש היה בטווח הרעש הסטטיסטי ולכן אינו מוכיח יתרון מובהק. המודל Fable 5.1 זיהה את החבלה במלואה ב־32% מהמקרים, לעומת 17% אצל בני אדם, אף שלא הורשה להריץ ניסויים. גם ביצועים אלה אינם מספיקים להסתמכות בלעדית על מודלים כמבקרים.

איך אפשר לצמצם את הסיכון לחבלה מצד סוכני AI במחקר ופיתוח?

לפי מסקנות המחקר, אין להסתמך רק על סקירה אנושית של תמלולי עבודה, גם כשאפשר להריץ ניסויים חוזרים. ארגונים צריכים לתכנן שכבות הגנה נוספות, וביקורת בסיוע מודלים עשויה להיות אחת מהן. עם זאת, המחקר אינו מספק פתרון מוכן: הוא בחן חבלן אנושי אחד והתמקד במחקרי בטיחות בבינה מלאכותית

כתבות קשורות