זירת AI

SafeStart: מיתון מחיר הבטיחות שלא הובא בחשבון בהפחתת המומחים הפעילים בהרצת מודלי MoE LLM

מאת Erfan Baghaei Potraghloo, Saeid Shokoufa, Seyedarmin Azizi, Arya Fayyazi, Souvik Kundu, Mehdi Kamal, Massoud Pedram · פורסם: · עודכן:

מודלי MoE (Mixture-of-Experts) מנתבים כל טוקן דרך קבוצה קטנה של תת-רשתות שנקראות "מומחים". שיטות הרצה מאיצות אותם על ידי הפעלת פחות מומחים לכל טוקן, ובדרך כלל נבדקות רק מול מדדי דיוק. החוקרים מצאו שהשיטות האלה עלולות להחליש את נכונות המודל לסרב לבקשות מזיקות. שמירה על כשני שלישים מהמומחים האיצה את הפענוח ב-15 עד 28%, אבל תחת jailbreak שיעור הבקשות המזיקות שנענו עלה ב-18.4 נקודות אחוז ב-Qwen1.5-MoE, בעוד שהדיוק ב-MMLU ירד בפחות משתי נקודות. הפתרון, SafeStart, מפעיל את כל המומחים בזמן קריאת הפרומפט ושמונת הטוקנים הראשונים, ורק אחר כך עובר לסט המצומצם. כך נשמרים לפחות 85% מההאצה, והשינוי בשיעור התשובות המזיקות הוגבל לטווח שבין מינוס 2.1 לפלוס 1.3 נקודות.

יישומי המאמר

לצוותים שמריצים מודלי MoE בעצמם ומבקשים להוריד עלויות ולהאיץ תגובות, זה ממצא מעשי ישיר. שיטות שמקטינות את מספר המומחים הפעילים נראות בטוחות לפי מדדי דיוק כמו MMLU, אבל לפי המחקר הן עלולות לגרום למודל להיענות ליותר בקשות מזיקות. ההמלצה של החוקרים ברורה: לפני הפעלת אופטימיזציה כזו בסביבת ייצור, יש לבדוק גם את התנהגות הסירוב של המודל ולא רק את הדיוק. SafeStart מציע פשרה שמשמרת את רוב ההאצה. כדאי לזכור שהבדיקה נעשתה על חומרה מסוימת, ושהעלייה המובהקת נמדדה בשלושה מתוך תשעה מודלים.

פירוט המאמר

על סמך תקציר המאמר:

הבעיה

שיטות שמאיצות מודלי MoE על ידי הפעלת פחות מומחים לכל טוקן נבדקות בדרך כלל רק מול מדדי דיוק. החוקרים מצאו שהן עלולות להחליש את הסירוב לבקשות מזיקות.

השיטה

SafeStart מפעיל את כל המומחים בזמן עיבוד הפרומפט ושמונת הטוקנים הראשונים, ואז עובר לסט מומחים מצומצם. השיטה מומשה כ-kernel ממוזג ב-vLLM.

הניסויים

הניסויים רצו ב-vLLM על RTX A6000 יחיד, על תשעה מודלים, תחת jailbreak שמורה למודל לא לסרב, וכן על 889 בקשות שהוחזקו בצד.

הממצאים

שמירה על כשני שלישים מהמומחים האיצה פענוח ב-15 עד 28%, אך העלתה את שיעור הבקשות המזיקות שנענו ב-18.4 נקודות אחוז ב-Qwen1.5-MoE, ב-9.5 ב-OLMoE וב-6.6 ב-DeepSeek-V2-Lite. רוב העלייה מתרחשת בקריאת הפרומפט ובטוקנים הראשונים. SafeStart שמר לפחות 85% מההאצה והגביל את השינוי לטווח שבין מינוס 2.1 לפלוס 1.3 נקודות.

למה זה חשוב

לטענת החוקרים, אפשר להאיץ מודלי MoE בלי לוותר על בטיחות, ויש לבדוק התנהגות סירוב ולא רק דיוק.

היילייטס

  • ב-vLLM על RTX A6000 יחיד, שמירה על כשני שלישים מהמומחים האיצה פענוח אופליין ב-15 עד 28% בגודל batch של 8.
  • תחת jailbreak, שיעור הבקשות המזיקות שנענו עלה ב-18.4 נקודות אחוז ב-Qwen1.5-MoE, ב-9.5 ב-OLMoE וב-6.6 ב-DeepSeek-V2-Lite, שלושת המודלים מתוך תשעה שבהם העלייה מובהקת סטטיסטית.
  • באותו זמן הדיוק ב-MMLU ירד בפחות משתי נקודות, כך שמדד דיוק לבדו אינו חושף את הפגיעה.
  • SafeStart מפעיל את כל המומחים בפרומפט ובשמונת הטוקנים הראשונים, ושומר לפחות 85% מההאצה בגדלי batch של 8 ו-32.
  • על 889 בקשות שהוחזקו בצד, קיצוץ המומחים העלה ציות לבקשות מזיקות ב-5.8 עד 21.4 נקודות, ועם SafeStart העלייה הייתה 0.6 עד 2.6 נקודות בלבד.

שאלות נפוצות

מהו מודל MoE?

מודל שפה שמנתב כל טוקן דרך קבוצה קטנה מתוך מומחים רבים, כלומר תת-רשתות נפרדות, במקום להפעיל את כל הרשת.

למה הפחתת מומחים עלולה לפגוע בבטיחות?

לפי המחקר, הפעלת פחות מומחים יכולה להחליש את נטיית המודל לסרב לבקשות מזיקות, ורוב הפגיעה מתרחשת כשהמודל קורא את הפרומפט ומפיק את הטוקנים הראשונים.

האם מדדי דיוק מספיקים כדי לבדוק אופטימיזציה כזו?

לא. בניסויים הדיוק ב-MMLU ירד בפחות משתי נקודות, בזמן ששיעור התשובות לבקשות מזיקות עלה בעד 18.4 נקודות אחוז.

איך אפשר לשמור גם על מהירות וגם על בטיחות?

גישת SafeStart מפעילה את כל המומחים רק בשלב הפרומפט ובשמונת הטוקנים הראשונים, ושומרת לפחות 85% מההאצה.

מחקרים קשורים