למידת העדפות משתמש סמויות הניתנות להעברה לצורך קבלת החלטות המותאמת לאדם

המחקר רלוונטי לכל ארגון שרוצה להשתמש בעוזרי AI, סוכנים אוטונומיים או מערכות תומכות החלטה באופן אישי ומדויק יותר. כיום מערכות AI רבות יודעות לבצע משימות לפי הוראות מפורשות, אך מתקשות להבין העדפות לא כתובות: למשל האם משתמש מעדיף פתרון מהיר על פני פתרון זול, גישה שמרנית על פני חדשנית, או המלצה שמאזנת בין יעילות, סיכון ונוחות. CLIPR מציעה דרך שבה המערכת לומדת מתוך מעט שיחות כללים כלליים על ההעדפות הסמויות של המשתמש, ואז משתמשת בהם גם במשימות חדשות. בעולם העסקי זה יכול לשפר מערכות המלצה, עוזרי מנהלים, כלי תכנון, שירות לקוחות, אוטומציה ארגונית וסוכני AI שמקבלים החלטות בשם משתמשים. הערך המעשי הוא התאמה אישית טובה יותר, פחות צורך בהסברים חוזרים מצד המשתמש, והפחתת עלויות חישוב והסקה.

רקע ומוטיבציה

מודלי שפה גדולים משמשים יותר ויותר כרכיבי חשיבה במגוון רחב של יישומים: עוזרים אישיים, סוכנים אוטונומיים, מערכות תכנון, מערכות המלצה וכלים תומכי החלטה. למרות יכולותיהם המרשימות, החוקרות מצביעות על בעיה מרכזית: כאשר נדרשת החלטה שמותאמת לבני אדם, לא מספיק להבין את היעד המפורש שהמשתמש מציין. במקרים רבים קיימות גם העדפות סמויות, שאינן נאמרות במפורש אך משפיעות על הפתרון הרצוי. למשל, שני משתמשים עשויים לבקש את אותה משימה אך להעדיף פתרונות שונים בגלל רגישות לסיכון, עלות, זמן, נוחות, הוגנות או סגנון פעולה.

בעיית המחקר

המאמר מתמקד בקבלת החלטות מיושרת לאדם במצבים עמומים. מצבים כאלה אינם כוללים תמיד תשובה נכונה אחת, ולכן המערכת צריכה לפרש כיצד לפתור את אי-הבהירות בהתאם להעדפות המשתמש. לפי החוקרות, גישות קיימות לשילוב העדפות משתמש סובלות משתי מגבלות עיקריות: הן דורשות אינטראקציות רבות וחוזרות עם המשתמש, או שהן אינן מצליחות להכליל העדפות סמויות בין משימות והקשרים שונים. כתוצאה מכך, היישום המעשי שלהן מוגבל, במיוחד כאשר משתמשים מצפים ממערכת AI להבין אותם במהירות ולפעול באופן עקבי גם במצבים חדשים.

מטרת המחקר

מטרת המחקר היא לפתח מסגרת שמאפשרת למודל שפה גדול להסיק העדפות משתמש סמויות מתוך קלט שיחתי מצומצם, לתרגם אותן לכללים ברורים בשפה טבעית, ולהשתמש בכללים אלה כדי להנחות תהליכי קבלת החלטות downstream. הדגש אינו רק על זיהוי העדפה למשימה מסוימת, אלא על למידת ייצוגים ניתנים להעברה: כללים שיכולים להיות שימושיים גם במשימות אחרות, בהקשרים חדשים ובסביבות שונות.

הגישה המוצעת: CLIPR

התרומה המרכזית של המאמר היא CLIPR, ראשי תיבות של Conversational Learning for Inferring Preferences and Reasoning. זוהי מסגרת שבה מודל שפה גדול משמש למחשבה ברמה גבוהה ולגזירת כללים בשפה טבעית. הכללים אמורים להיות actionable, כלומר ניתנים ליישום בפועל בתהליך ההחלטה, וגם transferable, כלומר ניתנים להעברה מעבר לדוגמה הספציפית שממנה נלמדו. במקום לאמן מחדש מודל או לאסוף כמות גדולה של משוב, CLIPR מתבססת על אינטראקציות שיחה מינימליות כדי להפיק כללים שמייצגים העדפות סמויות.

למידה איטרטיבית ומשוב אדפטיבי

CLIPR אינה מסתפקת בהסקה חד-פעמית של העדפות. הכללים שנלמדים עוברים שיפור איטרטיבי באמצעות משוב אדפטיבי. המשמעות היא שהמערכת יכולה לעדכן ולחדד את הבנתה לגבי המשתמש ככל שמצטבר מידע נוסף, אך בלי לדרוש תהליך ארוך ומכביד של תיוג או אינטראקציה חוזרת. גישה זו חשובה במיוחד ביישומים שבהם המשתמשים אינם רוצים להסביר את עצמם שוב ושוב, אך מצפים שהמערכת תלמד מהם ותתאים את התנהגותה לאורך זמן.

שיטת המחקר והערכה

המחקר בוחן את CLIPR על משימות עמומות במספר סביבות. ההערכה כוללת גם מקרים בתוך ההתפלגות, כלומר משימות הדומות לאלה שעל בסיסן נלמדו הכללים, וגם מקרים מחוץ להתפלגות, שבהם נבדקת יכולת ההעברה של ההעדפות להקשרים חדשים. לפי התקציר, החוקרות ביצעו הערכות על שלושה מערכי נתונים וכן מחקר משתמשים. לא נמסרים בתקציר פרטים מספריים מלאים על גודל המדגמים, סוג המשתתפים או המדדים המדויקים, אך נאמר שההשוואה נעשתה מול שיטות קיימות לשילוב העדפות משתמש.

ממצאים מרכזיים

הממצא המרכזי הוא ש-CLIPR משיגה ביצועים טובים יותר באופן עקבי מהשיטות הקיימות שנבדקו. השיפור בא לידי ביטוי בשני צירים: התאמה טובה יותר להעדפות אנושיות והפחתת עלויות ההסקה. כלומר, המסגרת לא רק עוזרת למערכת לבחור פתרונות שמתאימים יותר למשתמש, אלא גם עושה זאת בצורה יעילה יותר מבחינת עלות חישובית או מספר פניות למודל. העובדה שהמסגרת נבחנה בשלושה מערכי נתונים ובמחקר משתמשים מחזקת את הטענה שהיא אינה מותאמת רק לתרחיש בודד, אלא יכולה לעבוד במגוון משימות וסביבות.

מסקנות ותרומה

המאמר מציע כיוון חשוב להתאמה אישית של מערכות AI: במקום להתייחס להעדפות משתמש כאל מידע נקודתי או כאל היסטוריית אינטראקציות ארוכה, ניתן לנסח אותן ככללים טבעיים, ניתנים להבנה ולהעברה. גישה זו עשויה להפוך מערכות מבוססות LLM ליותר עקביות, יעילות ומיושרות עם בני אדם. התרומה משמעותית במיוחד עבור מערכות קבלת החלטות, שבהן אי-הבנת העדפות סמויות עלולה להוביל לפתרונות טכנית נכונים אך לא רצויים מבחינת המשתמש.