Airbnb החליפה מודל לסוכני קוד וההוצאה על משתמשים כבדים ירדה לכשביעית
מאת מערכת זירת AI · פורסם: · עודכן:
Airbnb חושפת כיצד היא מנהלת סוכני קוד עבור אלפי מהנדסים: כל מודל חדש נבחן על משימות פנימיות לפי ציון ועלות לכל משימה, ולאחר הפריסה נבדקת ההתנהגות בפועל. מודל שהצטיין בהערכות התגלה כיקר פי כמה בשימוש, והמעבר למודל חדש יותר הוריד את ההוצאה לכשביעית.
בקצרה:
- ההערכות מבוססות על משימות קוד אמיתיות, והציון מוגבל כשהסוכן נזקק לעזרה חוזרת.
- שינוי בהנחיות המערכת עשוי להאריך תשובות ולהעלות את זמן התגובה גם בלי שינוי במהירות היצירה.
- לכל מודל מרכזי נשמרת חלופה שאליה ניתן להסיט תעבורה כשהקיבולת מצטמצמת.
אלפי מהנדסים ועובדים בתפקידים סמוכים להנדסה ב-Airbnb משתמשים מדי שבוע ב-AirChat, כלי פנימי להפעלת סוכני קוד. כל הבקשות של הסוכנים עוברות דרך שער מודלי שפה פנימי שפועל על גבי Amazon Bedrock, שירות של AWS המאפשר גישה למודלים של כמה ספקים דרך ממשק אחיד. בפוסט משותף של מהנדסים מ-Airbnb ואנשי AWS מתארת החברה כיצד היא בוחרת מודלים, עוקבת אחר השימוש בהם ומגיבה כשהמציאות בשטח שונה מהציפיות.
הרקע ברור: לדברי הכותבים, שמונה מודלים חדשים יצאו בתוך כחמישה שבועות, ועד אמצע אוקטובר כשני שלישים מהבקשות של מהנדסי החברה כבר נשלחו למודלים החדשים. כל השקה כזו יכולה לשנות בבת אחת את העלות, זמני התגובה והקיבולת, ולטענת Airbnb, טבלאות מבחני הביצועים שמתפרסמות עם ההשקה אינן מלמדות כיצד המודל יתמודד עם העבודה האמיתית של מהנדסיה.
עלות לכל משימה: המדד שמחליף את טבלאות הביצועים
הפתרון של Airbnb הוא מדד שהיא מכנה עלות לכל משימה: העלות לפי מחירון של כל הטוקנים שסוכן צורך עד להשלמת משימה אחת. מאחר שסוכן קוד שולח בקשות רבות למשימה אחת, ובכל אחת המודל קורא מחדש את ההקשר שהצטבר, החברה מתמחרת את המשימה כולה ולא בקשה בודדת.
ביום השקת מודל חדש, בקשה אחת לסוכנים מפעילה סבב הערכה על שבעה סטים של משימות פנימיות, המבוססות על שינויי קוד אמיתיים, הערות סקירה והחלטות שלא נוסחו במפורש בכרטיס המקורי. תוצאות ראשונות מגיעות בתוך שעות, ועד הבוקר שלמחרת יש ציון ועלות לכל משימה בכל סט, מספיק להחלטת פריסה ברמת הארגון כולו. לפי הכותבים, החלק הקשה ביותר הוא ניסוח מחוון הציון: מודל בודק מעניק ציון בשמונה ממדים משוקללים, ואם סוקר מדומה נאלץ לחלץ את הסוכן שוב ושוב, הציון הכולל מוגבל ל-25 מתוך 100.
גם רמת ההנמקה של המודל נבדקת. באחד המודלים, מעבר מרמה נמוכה לגבוהה העלה את הציון ב-0.8 נקודות בלבד, אך העלות למשימה גדלה פי 2.5. על בסיס נתונים כאלה Airbnb קובעת מודל ברירת מחדל ותקרת רמת הנמקה, שהשער אוכף.
0.8 נקודות – תוספת לציון במעבר מרמת הנמקה נמוכה לגבוהה פי 2.5 – גידול בעלות למשימה באותו מעבר
מודל מצטיין במבחן, יקר בשטח
המקרה המעניין ביותר בפוסט נוגע למודל שהחברה מכנה מודל A. בהערכות הפנימיות הוא קיבל ציון גבוה ביותר משלוש נקודות מהמודל הטוב הקודם, בעלות למשימה דומה. אולם כמה שבועות לאחר הפריסה התברר שההוצאה השבועית הממוצעת למשתמש הייתה גבוהה פי כמה: כל בקשה עלתה בערך פי שלושה, והמשתמש הממוצע שלח בערך פי שלושה יותר בקשות.
הסיבה לא הייתה טוקני הפלט, שהיוו רק עשירית מעלות הבקשה, אלא הקשר שמור במטמון שנקרא מחדש בכל בקשה. מודל A ידע לעבוד באופן עצמאי לאורך זמן, והמהנדסים החלו לנהל איתו סשנים ארוכים. כפי שמנסחים זאת הכותבים, ההערכה מדדה את המודל על משימה, ואילו הייצור מדד כיצד אנשים בחרו לעבוד איתו. בהמשך הופיע מודל חדש יותר שקיבל ציון גבוה יותר בעלות של כשישית למשימה, והמשתמשים הכבדים הועברו אליו בשינוי תצורה. בשבוע הראשון ההוצאה של הקבוצה ירדה לכשביעית, עם מספר בקשות דומה.
עומסים, מכסות ותוכנית גיבוי
הפוסט מתאר גם פערים בין מה שלוח הבקרה מציג לבין המציאות. בדוגמה אחת זמן התגובה עלה ב-40 אחוז, אך מהירות היצירה לא השתנתה: מישהו שינה את הנחיית המערכת כך שתבקש תשובות מפורטות יותר, ומספר טוקני הפלט לבקשה זינק ב-50 אחוז. המסקנה של Airbnb היא להתייחס לשינויי הנחיות ולשדרוגי מודל כאל פריסות לכל דבר.
בדוגמה אחרת, במכסה של מיליון טוקנים לדקה, לוח הבקרה הציג ניצול של כ-30 אחוז, אך לאחר חישוב מקדם הצריכה של טוקני הפלט הניצול בפועל עמד על כ-77 אחוז. הקטנת מגבלת אורך הפלט המקסימלי מ-4,096 ל-1,024 טוקנים הקטינה את ההזמנה הראשונית של כל בקשה בכ-65 אחוז ופינתה מקום לבקשות נוספות.
לצד זאת, החברה מחזיקה לכל מודל מרכזי לפחות חלופה אחת, לעיתים ממשפחת מודלים אחרת, שמשיגה ביצועים דומים בהערכות הפנימיות ואליה ניתן להסיט תעבורה כשהקיבולת מצטמצמת.
מה מנהלים יכולים ללמוד
המסר המרכזי של Airbnb הוא שבחירת מודל אינה החלטה חד-פעמית. הציון במבחן ועלותו צריכים להימדד יחד, על משימות של הארגון עצמו, ואחרי הפריסה יש להשוות את העלות לבקשה ומספר הבקשות למשתמש מול התחזית. יש לזכור שמדובר בפוסט שפורסם בבלוג של AWS, ובחלקו הוא גם מדריך לשימוש בכלי הניטור של Bedrock, אך הנתונים מהשטח מספקים הצצה נדירה לפער שבין ביצועי מודל במבחן לבין עלותו בשימוש יומיומי.
שאלות נפוצות
מה זה Amazon Bedrock ואיך Airbnb משתמשת בו לסוכני קוד?
Amazon Bedrock הוא שירות של AWS שמאפשר גישה למודלי בינה מלאכותית של כמה ספקים דרך ממשק אחיד. ב-Airbnb הוא משמש תשתית לשער מודלי שפה פנימי, שדרכו עוברות בקשות סוכני הקוד של AirChat. השער מאפשר לחברה לאכוף את בחירת מודל ברירת המחדל ואת תקרת רמת ההנמקה.
מה זה עלות לכל משימה בסוכני קוד מבוססי AI?
עלות לכל משימה היא העלות לפי מחירון של כל הטוקנים שסוכן קוד צורך עד להשלמת משימה אחת. בניגוד למדידת מחיר לבקשה בודדת, המדד כולל את רצף הבקשות ואת הקריאה החוזרת של ההקשר המצטבר. Airbnb משתמשת בו לצד ציון איכות כדי להשוות מודלים על עבודה אמיתית.
למה מודל AI שמצליח במבחנים עלול להיות יקר יותר בשימוש אמיתי?
מבחנים מודדים ביצוע של משימות מוגדרות, אך אינם בהכרח משקפים את האופן שבו משתמשים יעבדו עם המודל. ב-Airbnb, מודל עצמאי יותר עודד סשנים ארוכים: העלות לבקשה ומספר הבקשות למשתמש גדלו כל אחד בערך פי שלושה. עיקר העלות נבע מקריאה חוזרת של הקשר שמור במטמון, ולא מיצירת התשובות.
איך Airbnb הורידה את ההוצאה על משתמשים כבדים בסוכני קוד לכשביעית?
Airbnb העבירה את המשתמשים הכבדים למודל חדש יותר באמצעות שינוי תצורה. המודל השיג ציון גבוה יותר בהערכות הפנימיות, בעלות של כשישית למשימה לעומת המודל הקודם. בשבוע הראשון לאחר המעבר ירדה הוצאת הקבוצה לכשביעית, אף שמספר הבקשות נותר דומה. זהו חיסכון שנמדד בקבוצה המסוימת, ולא בכלל משתמשי החברה.
איך בוחרים מודל AI לסוכני קוד בארגון?
לפי הגישה של Airbnb, בוחנים מודלים על משימות פנימיות אמיתיות ומשווים בין איכות התוצאה לעלות המשימה כולה. בודקים גם רמות הנמקה: במקרה אחד, רמה גבוהה הוסיפה רק 0.8 נקודות לציון אך הגדילה את העלות פי 2.5. לאחר הפריסה עוקבים אחר העלות לבקשה ומספר הבקשות למשתמש.
איך אפשר לפנות קיבולת לסוכני AI בלי להחליף מודל?
אפשר לבדוק את מגבלת אורך הפלט ואת אופן חישוב מכסת הטוקנים, ולא להסתמך רק על לוח הבקרה. בדוגמה של Airbnb, הורדת מגבלת הפלט מ-4,096 ל-1,024 טוקנים צמצמה בכ-65 אחוז את ההזמנה הראשונית לכל בקשה. כך התפנה מקום לבקשות נוספות, בלי שהחברה נדרשה להחליף את המודל