זירת AI

שודדים חסרי סבלנות: אופטימיזציה לטווח הארוך ללא השהיה

מאת Kelly W. Zhang, Thomas Baldwin-McDonald, Kamil Ciosek, Lucas Maystre, Daniel Russo · פורסם: · עודכן:

המחקר מציע דרך ללמוד אילו המלצות מצליחות בטווח הארוך, בלי להמתין עד שכל התוצאות יתממשו ובלי להחליף את היעד במדד קצר טווח שעלול להטעות. החוקרים מנסחים בעיית בנדיטים עם משוב הדרגתי: לאחר המלצה, מידע על התנהגות המשתמש נחשף לאורך זמן ומעדכן תחזית לתגמול הסופי. האלגוריתם משלב דגימת תומפסון עם מסנן בייסיאני גאוסי, שלומד מנתונים היסטוריים את הקשר בין התנהגות מוקדמת למעורבות מאוחרת ושומר גם הערכת אי־ודאות. ניתוח תאורטי מקשר בין חסם החרטה לבין כמות המידע שהמשוב המוקדם מספק. סימולציות ונתוני האזנה מספוטיפיי מראים יתרון לעומת המתנה לתגמולים מלאים או אופטימיזציה לחזרה ביום השני. בניסוי אקראי רחב היקף, שילוב המסנן בדירוג המלצות הגדיל בכ־7% את ימי הפעילות לאורך 60 יום לכל חשיפה, וביותר מ־50% מדדי מעורבות בתוכניות חדשות. עם זאת, הניסוי בדק דירוג דטרמיניסטי המבוסס על המסנן, ולא את אלגוריתם החקירה המלא, וההצלחה תלויה באיכות המודל ההיסטורי.

יישומי המאמר

מערכת המלצות לא חייבת לבחור בין שיפור מהיר של קליקים לבין המתנה של חודשיים כדי להבין מה באמת מועיל למשתמשים. השיטה משתמשת בהתנהגות שכבר נצפתה כדי לעדכן תחזית של התוצאה ארוכת הטווח, ומשפרת אותה ככל שמצטבר מידע. היישום הישיר הוא הערכת תוכן חדש: למשל, זיהוי פודקאסטים שמאזינים צפויים לחזור אליהם לאורך זמן, גם כאשר התוכנית עלתה לשירות רק לאחרונה. בספוטיפיי, שילוב המידע החלקי שיפר את איכות ההמלצות בלי להגדיל באופן מהותי את מספר החשיפות הכולל. הגישה עשויה להתאים גם להמלצות מסחריות, שיווק ושירותים דיגיטליים שבהם רכישות חוזרות או שימור לקוחות מתבררים באיחור. התנאי החשוב הוא קיומם של נתונים היסטוריים שמאפשרים ללמוד אילו סימנים מוקדמים מנבאים את היעד המאוחר; המחקר אינו מוכיח שהשיטה תצליח בכל תחום כזה.

פירוט המאמר

הבעיה: ללמוד מהר בלי לשנות את המטרה

מערכות המלצה פועלות בקצב מהיר, אך תוצאות משמעותיות, כמו יצירת הרגל האזנה מתמשך, מתבררות רק לאחר שבועות. המתנה לתוצאות האלה מאטה את הלמידה, ואילו אופטימיזציה לקליקים או לחזרה מיידית עלולה להעדיף תוכן שאינו מצליח לאורך זמן. הקושי חריף במיוחד בתוכן חדש, שאין עליו היסטוריה מספקת. המאמר מציע לנצל את העובדה שהתוצאה המאוחרת אינה נותרת בלתי ידועה לחלוטין עד יום המדידה: התנהגות המשתמש מספקת בהדרגה ראיות לגבי הסיכוי להצלחה.

המסגרת המחקרית

החוקרים מנסחים בעיית בנדיטים מרובי זרועות עם משוב הדרגתי. בכל יום המערכת ממליצה על פריטים לקבוצת משתמשים, ולאחר כל המלצה נחשף רצף תוצאות בזמנים מוגדרים. התגמול ארוך הטווח הוא פונקציה ידועה של הרצף, למשל מספר ימי ההאזנה במהלך 60 יום. ההפרדה בין מספר המשתמשים ביום לבין מספר הימים מאפשרת להמחיש מדוע יותר חשיפות אינן מבטלות בהכרח את מגבלת הזמן: גם מיליוני המלצות אינן מייצרות מיד תוצאות שדורשות חודשיים להתממש. המודל המרכזי מניח שלכל פריט יש וקטור סמוי של תוחלות מעורבות, ושתגובות המשתמשים סביבו מתפלגות נורמלית. הוא מבחין בין שונות בין פריטים לבין רעש וקשרים בין התוצאות אצל אותו משתמש. ההנחות כוללות יציבות סטטיסטית מתאימה בין משתמשים ולאורך זמן, וכן דגימת פריטים מאוכלוסייה משותפת. תכונות נצפות של הפריט יכולות להתאים את ההתפלגות המוקדמת שלו. בנספחים מוצגת גם הרחבה שבה תוחלות התוצאות תלויות באופן ליניארי בתכונות המשתמש.

האלגוריתם והלמידה מנתונים היסטוריים

אלגוריתם Impatient Bandit משלב שני רכיבים. מסנן בייסיאני מעדכן את התפלגות ההסתברות של איכות הפריט בכל פעם שמגיע משוב נוסף, גם כשהרצף עדיין חלקי. דגימת תומפסון משתמשת בהתפלגות המעודכנת כדי לאזן בין המלצה על פריטים שנראים מבטיחים לבין חקירת פריטים שעשויים להתגלות כמוצלחים. כך המערכת אינה מתייחסת לתחזית מוקדמת כאילו הייתה תוצאה סופית ודאית. את ממוצעי ההתפלגות המוקדמת, השונות והמתאמים לומדים ממסלולי מעורבות מלאים של פריטים היסטוריים, בגישת בייס אמפירית. המאמר מציג גם עדכוני הסתברות סגורים וחישוב הדרגתי באמצעות פירוק כולסקי, המטפל בתלות בין תצפיות מאותו משתמש. זהו הבדל חשוב מהזנת כל תוצאה יומית כמדידה עצמאית: התעלמות מהתלות עלולה לעוות את הערכת אי־הוודאות.

התרומה התאורטית

החוקרים מגדירים את ערך המשוב ההדרגתי, VoPF, כמידע ההדדי המותנה בין התגמול הממוצע האמיתי לבין התוצאות החלקיות, מעבר למידע שמספקים רצפים שכבר הושלמו. המדד מוגדר באמצעות התוצאות הפוטנציאליות בסביבה, ולכן אינו תלוי במדיניות ההמלצות. במודל הגאוסי הוא מבטא הפחתה באי־הוודאות לגבי התגמול הממוצע. עבור גרסה בעלת שונות מופחתת של הקצאת תומפסון, המאמר מוכיח חסם לחרטה הבייסיאנית בכל קבוצת משתמשים. החרטה היא הפער בתגמול לעומת בחירת הפריט הטוב ביותר. ללא תכונות פריט, רכיב החסם המתאים לתגמולים מושהים מוכפל בגורם exp(−VoPF), לצד שגיאת עיגול בהקצאת המשתמשים. משוב חסר תועלת מחזיר את מצב ההשהיה הרגיל, ומשוב מושלם מאפשר התנהגות הדומה לתצפית מיידית. זהו חסם תאורטי, ולא הבטחה ליחס שיפור מדויק בין ביצועי אלגוריתמים בפועל.

סימולציות ובדיקות על נתוני ספוטיפיי

ההערכה כוללת סביבה סינתטית שבה ניתן לשלוט באינפורמטיביות המשוב, וסביבה חצי־סינתטית המבוססת על האזנה לפודקאסטים. מאגר הנתונים כולל 8.77 מיליון רצפי פעילות וכ־26 מיליון ימי פעילות מצטברים, עם הפרדה בין נתוני אימון ונתוני אימות. בניסויים הסינתטיים, תועלת השיטה גדלה כאשר התוצאות המוקדמות ניבאו טוב יותר את המאוחרות, בהתאם לתמונה התאורטית. בסימולציות המבוססות על פודקאסטים, השיטה צברה פחות חרטה מהמתנה לתגמול המלא ומאופטימיזציה לחזרה ביום השני, ובחלק מהתנאים התקרבה לבנצ'מרק המקבל מיד את כל התוצאות. כאשר מאגר התוכניות התחלף בהדרגה, החרטה המצטברת שלה הייתה פחות ממחצית מזו של שתי החלופות. בדיקת רכיבים הראתה יתרון משמעותי למודל שהותאם לנתונים היסטוריים לעומת בחירה לא־אינפורמטיבית של ההתפלגות והמתאמים. השוואה לאלימינציה סדרתית תמכה גם בבחירת דגימת תומפסון בתנאים שנבדקו.

הניסוי התעשייתי

בניסוי אקראי שנמשך חודשיים וכלל מאות מיליוני משתמשים, שונה דירוג התוכניות במדף גילוי בספוטיפיי, ללא שינוי ביצירת המועמדים. קבוצת הביקורת הסתמכה על תוצאות מלאות לאחר 60 יום. קבוצת הטיפול השתמשה במסנן הגאוסי כדי ללמוד גם מהיסטוריות חלקיות. שתי הקבוצות שילבו הסתברות לגילוי עם תחזית של מעורבות מתמשכת. בניגוד לאלגוריתם התאורטי, הדירוג היה דטרמיניסטי והתבסס על ממוצעי התחזיות, ללא חקירה מכוונת. בכלל ההמלצות נרשמה עלייה של כ־7% בימי פעילות לאורך 60 יום לכל חשיפה, ועליות של יותר מ־10% בדקות האזנה ובימי חזרה לכל חשיפה, לצד ירידה קלה בשיעור הגילוי. בתוכניות חדשות שיעור הגילוי עלה בכמעט 30%, ומדדי המעורבות המאוחרת לכל חשיפה עלו ביותר מ־50%. היקף החשיפות נותר דומה. ניתוח בדיעבד הצביע על העברת חשיפות מתוכניות פחות מתמשכות לתוכניות בעלות מעורבות מתמשכת גבוהה יותר.

מגבלות ומשמעות

התוצאות תומכות בשימוש במשוב חלקי לחיזוי היעד המקורי, ולא בהחלפתו במדד נוח למדידה. עם זאת, ההוכחות נשענות על מודל גאוסי, תגמול ליניארי והתפלגות מוקדמת נכונה; לא ניתנת הבטחה ללמידת מודל היסטורי מדויק. הניסוי המקוון מאמת בעיקר את רכיב הסינון ולא את אלגוריתם החקירה המלא. גם מעורבות היא מדד תפעולי, ולא מדידה ישירה של שביעות רצון. הרחבות למודלים לא־ליניאריים ולתהליכי החלטה מרקוביים נותרות למחקר עתידי. לאחר ניסויים נוספים, השיטה שולבה במערכות ההמלצה של ספוטיפיי.

היילייטס

  • האלגוריתם משתמש במשוב חלקי כדי ללמוד על היעד ארוך הטווח, במקום להחליף אותו במדד קצר טווח.
  • החסם התאורטי לחרטה קטן באמצעות גורם exp(−VoPF), המבטא את התועלת האינפורמטיבית של המשוב ההדרגתי, תחת הנחות המודל.
  • בניסוי בספוטיפיי נרשמו כ־7% יותר ימי פעילות לאורך 60 יום לכל חשיפה, ועליות של יותר מ־10% בדקות האזנה ובימי חזרה לכל חשיפה.
  • בהמלצות על תוכניות חדשות, שיעור הגילוי עלה בכמעט 30%, ומדדי המעורבות ארוכת הטווח לכל חשיפה עלו ביותר מ־50%.
  • הניסוי התעשייתי מאמת את תרומת המסנן לדירוג המלצות, אך לא בוחן ישירות את דגימת תומפסון; התאמת המודל ההיסטורי התגלתה כחיונית לביצועים.

שאלות נפוצות

כיצד אפשר לשפר המלצות לטווח ארוך בלי להמתין חודשים לתוצאות?

אפשר להשתמש בהתנהגות שכבר נצפתה כדי לעדכן תחזית של התוצאה ארוכת הטווח. שיטת Impatient Bandits לומדת מנתונים היסטוריים אילו דפוסי התנהגות מוקדמים מנבאים מעורבות מתמשכת, ומעדכנת את התחזית ככל שמגיע מידע נוסף. כך ניתן ללמוד גם מהמלצות שטרם הושלם עבורן חלון המדידה, בלי להחליף את היעד ארוך הטווח במדד קצר טווח.

מדוע אופטימיזציה לקליקים או לחזרה ביום השני עלולה לפגוע באיכות ההמלצות?

תגובה מיידית אינה מעידה בהכרח על מעורבות מתמשכת. אופטימיזציה למדד קצר טווח עלולה להעדיף תוכן שמעורר עניין רגעי על פני תוכן שמשתמשים יחזרו אליו לאורך שבועות. הגישה שנבדקה משתמשת בהתנהגות המוקדמת כראיה לחיזוי היעד המאוחר, ולא כתחליף ליעד עצמו. בסימולציות המבוססות על נתוני פודקאסטים, היא השיגה חרטה נמוכה יותר הן מהמתנה לתוצאות מלאות והן מאופטימיזציה לחזרה ביום השני.

מה הייתה ההשפעה של שימוש במשוב חלקי על המלצות הפודקאסטים בספוטיפיי?

בניסוי אקראי רחב היקף, שילוב מסנן המשתמש בהיסטוריות חלקיות בדירוג ההמלצות הגדיל בכ־7% את מספר ימי הפעילות לאורך 60 יום לכל חשיפה. דקות ההאזנה וימי החזרה לכל חשיפה עלו ביותר מ־10%. בתוכניות חדשות, שיעור הגילוי עלה בכמעט 30%, ומדדי המעורבות ארוכת הטווח לכל חשיפה עלו ביותר מ־50%, בעוד היקף החשיפות נותר דומה. עם זאת, בכלל ההמלצות נרשמה ירידה קלה בשיעור הגילוי.

כיצד Impatient Bandits משלב מסנן בייסיאני עם דגימת תומפסון?

המסנן הבייסיאני הגאוסי מעדכן התפלגות הסתברות לאיכות כל פריט בכל פעם שמתקבל משוב נוסף, גם כשהיסטוריית המשתמש עדיין חלקית. הוא משמר גם את אי־הוודאות בתחזית, במקום להתייחס אליה כתוצאה סופית. דגימת תומפסון משתמשת בהתפלגות המעודכנת כדי לאזן בין בחירת פריטים שנראים מוצלחים לבין חקירת פריטים שעשויים להתגלות כמבטיחים. את ההתפלגויות והמתאמים הדרושים למסנן לומדים ממסלולי מעורבות היסטוריים שהושלמו.

מהו ערך המשוב ההדרגתי, וכיצד הוא משפיע על חסם החרטה?

ערך המשוב ההדרגתי, VoPF, מודד כמה מידע התוצאות החלקיות מוסיפות על התגמול הממוצע האמיתי, מעבר למידע שכבר התקבל מרצפים שהושלמו. במודל הגאוסי, הוא מבטא הפחתה באי־הוודאות. בחסם שהוכח לגרסה בעלת שונות מופחתת של הקצאת תומפסון, הרכיב המתאים לתגמולים מושהים מוכפל בגורם exp(−VoPF). ככל שהמשוב המוקדם אינפורמטיבי יותר, רכיב זה קטן יותר. זהו קשר תאורטי תחת הנחות המודל, ולא הבטחה לשיעור שיפור מסוים בפועל.

מהם התנאים והמגבלות ליישום השיטה במערכות המלצה אחרות?

נדרשים נתונים היסטוריים שמאפשרים ללמוד קשר אמין בין התנהגות מוקדמת לבין היעד המאוחר. התאמת המודל ההיסטורי התגלתה כחיונית לביצועים, וההבטחות התאורטיות נשענות בין היתר על מודל גאוסי, תגמול ליניארי והתפלגות מוקדמת נכונה. הניסוי בספוטיפיי בדק דירוג דטרמיניסטי המבוסס על המסנן, ולא את אלגוריתם החקירה המלא. לכן, יישומים במסחר, בשיווק או בשימור לקוחות מחייבים אימות ייעודי; נוסף על כך, מעורבות גבוהה יותר אינה מדידה ישירה של שביעות רצון.

מחקרים קשורים