זירת AI

למידת חיזוק תת־ספית: תכונות עוברות דרך ציוני שופט

מאת Keuntae Kim, Yong Suk Choi · פורסם: · עודכן:

למידה תת־ספית היא מצב שבו תכונה של מודל אחד עוברת למודל אחר דרך נתונים שאין בהם שום סימן גלוי לתכונה. עבודות קודמות הראו זאת כשמודל "תלמיד" אומן על טקסט של מודל "מורה". במחקר הנוכחי בדקו החוקרים מערך נפוץ בשלב שאחרי האימון הראשוני: GRPO (group relative policy optimization, שיטת למידת חיזוק שמשווה בין קבוצת תשובות) עם מודל שפה שמשמש כשופט. התלמיד לומד רק מהפלטים של עצמו ומהציונים שהשופט נותן להם. התלמיד הפיק הברות מומצאות או מספרים, ושופט שכוונן להעדיף חיה מסוימת דירג אותם. התוצאה: העדפת התלמיד זזה לכיוון אותה חיה, בהשוואה לריצה שבה השופט העדיף חיה אחרת. מתוך 48 תצורות ניסוי, 17 הראו העברה של התכונה. המשמעות: גם ציון מספרי בלבד יכול להעביר נטיות סמויות, ולפי החוקרים גם נטיות לא רצויות מבחינת בטיחות AI.

יישומי המאמר

לארגונים שמכווננים מודלים בעזרת למידת חיזוק עם מודל שופט, המחקר מעלה נקודה מעשית: השופט אינו רק מודד ניטרלי. לפי הממצאים, נטיות של השופט יכולות לעבור למודל המאומן גם כשהנתונים עצמם נראים תמימים לחלוטין, כמו רצפי מספרים. עבור צוותי פיתוח, המשמעות היא שכדאי לבחור את מודל השופט בזהירות ולבחון את נטיותיו, ולא רק את דיוק הציונים שלו. החוקרים מציעים שמדידות לפני האימון יכולות לזהות היכן קיים סיכון, אך מדובר עדיין בעבודת מחקר על ניסויים מבוקרים, כמו העדפה לחיות, ולא בכלי בדיקה מוכן לשימוש.

פירוט המאמר

על סמך תקציר המאמר:

הבעיה

למידה תת־ספית היא העברה של תכונה ממודל למודל דרך נתונים שאין בהם סימן גלוי לתכונה. עד כה הודגם הדבר באימון על טקסט של מודל מורה. השאלה כאן: האם ציוני שופט בלבד מספיקים להעברה כזו?

השיטה

החוקרים בחנו אימון GRPO עם מודל שפה כשופט. התלמיד הפיק הברות מומצאות או מספרים, ושופט שכוונן להעדיף חיה מסוימת דירג אותם. ההשוואה נעשתה מול ריצה עם שופט שהעדיף חיה אחרת.

הניסויים

נבחנו 48 תצורות ניסוי, ו-2 מהן לא עברו את בדיקת התקפות.

הממצאים

17 תצורות הראו העברה של התכונה ברמת false-discovery rate של 5%, כולל תצורות שהשתמשו במספרים בלבד. הסרת הפער בתגמול בין שני השופטים, ותו לא, ביטלה את ההעברה. שופטים עם אותה העדפה שנבנו מנתונים אחרים או על מודל אחר לא הובילו להעברה שזוהתה. לטענת החוקרים, ההעברה מתרחשת בשרשרת של ארבעה שלבים.

למה זה חשוב

החוקרים מדווחים שגם נטיות לא רצויות בהקשר בטיחות AI יכולות לעבור לתלמיד, ושמדידה של שלבי השרשרת לפני האימון יכולה לרמז היכן זה יקרה.

היילייטס

  • תלמיד שאומן רק על ציוני שופט שהעדיף חיה מסוימת שינה את העדפתו לכיוון אותה חיה, אף שהפיק רק הברות מומצאות או מספרים.
  • מתוך 48 תצורות ניסוי, 17 הראו העברה של התכונה ברמת false-discovery rate של 5%, ו-2 לא עברו את בדיקת התקפות.
  • הסרה של הפער בתגמול בין שני השופטים, ותו לא, ביטלה את ההעברה.
  • החוקרים מתארים שרשרת בת ארבעה שלבים: התכונה מופיעה בציונים, השופט מעדיף מחרוזות שמשפיעות על התלמיד, ההעדפות מצטברות, והן מגיעות לתשובות התלמיד.
  • לדברי החוקרים, מדידת השלבים לפני האימון יכולה להצביע היכן נטיות לא רצויות מבחינת בטיחות AI עלולות לעבור.

שאלות נפוצות

מהי למידה תת־ספית במודלי שפה?

מצב שבו תכונה של מודל אחד עוברת למודל אחר דרך נתונים שאין בהם שום סימן גלוי לאותה תכונה.

איך מודל יכול ללמוד העדפה רק מציונים?

באימון GRPO התלמיד לומד מהפלטים של עצמו ומהציון שהשופט נותן להם. אם השופט מעדיף בעקביות מחרוזות שמשפיעות על התלמיד, ההעדפות מצטברות ומגיעות לתשובותיו.

האם כל שופט עם אותה העדפה יעביר אותה?

לא בהכרח. שופטים עם אותה העדפה שנבנו מנתונים אחרים או על מודל אחר העדיפו מחרוזות אחרות, ולא זוהתה העברה.

האם אפשר לזהות את הסיכון מראש?

לטענת החוקרים, מדידה של שלבי השרשרת לפני האימון יכולה להצביע היכן נטיות לא רצויות עלולות לעבור, ובכך לסייע במניעת חלק מהסיכון.

מחקרים קשורים