RAG במעיל גשם: מתי זיכרון מינימלי מספיק למערכות סוכנים, ומתי לא
מאת Jingyu Liu, Zongze Li, Zach Xu, Zhanhui Zhou, Tahseen Rabbani, Dawn Song, Ce Zhang · פורסם: · עודכן:
האם מערכות סוכנים זקוקות לזיכרון מורכב, או שדי במנגנון פשוט לשליפת מידע? החוקרים בחנו זאת באמצעות BRIDGE, מערכת זיכרון מינימלית המבוססת על RAG, כלומר יצירת תשובות בעזרת מידע שנשלף ממאגר. במבחני LongMemEval-S ו-BEAM היא השתוותה לשיטה המובילה הקודמת במסגרת רווחי סמך, המבטאים את אי־הוודאות הסטטיסטית. ב-EverMemBench היא עקפה את מערכת הזיכרון הטובה ביותר ששימשה להשוואה ב-5.7-6.3 נקודות, כאשר המודל הקורא היה זהה. אלא שבמבחנים שחייבו ליישם כלל או דפוס שנזכרו בעבר, לא נמצאה מערכת מנצחת בכל המשימות: LangMem הצטיינה ביישום כללים, ו-BRIDGE בהסקת דפוסים. לטענת החוקרים, ההבדל החשוב אינו רק איזה מידע הזיכרון שולף, אלא מה הוא מאפשר לסוכן לעשות. לכן הצלחה במבחן שליפה אינה מספיקה להערכת זיכרון לסוכנים.
יישומי המאמר
למנהלים ולמפתחים הבוחנים זיכרון לסוכן, המחקר מציע להבחין בין מציאת המידע הנכון לבין שימוש נכון בו. במשימות הדומות למבחני הזיכרון שנבדקו, BRIDGE הפשוטה השתוותה לשיטות מובילות או עקפה אותן. אולם כאשר נדרש ליישם כלל או להסיק דפוס מדוגמאות קודמות, התאמת מבנה הזיכרון למשימה הייתה חשובה: חילוץ עובדות בודדות הצליח יותר ביישום כללים, וסיכום מקטעים הצליח יותר בהסקת דפוסים. החוקרים מצאו גם שהבלטת כלל שנשלף צמצמה במידה רבה את הפער בין שליפתו ליישומו. המשמעות המעשית היא שיש לבחון גם את פעולת הסוכן בעקבות השליפה. נתונים על פריסה בסביבת עבודה או על חיסכון כספי לא צוין במאמר.
פירוט המאמר
על סמך תקציר המאמר:
הבעיה
מחקר הזיכרון לסוכנים מוסיף מנגנונים מורכבים מעל RAG, יצירת תשובות בעזרת מידע שנשלף. לטענת החוקרים, מבחני הזיכרון המקובלים מודדים מה נשלף, ולא מה הזיכרון מאפשר לסוכן לעשות.
השיטה
החוקרים הציגו את BRIDGE, זיכרון מינימלי עם רשומות תצפית מקושרות, שליפה משולבת והצגת מידע בסדר כרונולוגי. המערכת משתמשת בקריאה אחת ל-LLM, מודל שפה גדול, בכל קליטת מידע או שאילתה.
הניסויים
המערכת נבחנה ב-LongMemEval-S, ב-BEAM וב-EverMemBench. בנוסף נבדקו 5 מבחני אתגר, עם 20 תרחישים לכל מבחן, שחייבו יישום כלל או דפוס שהשאילתה אינה מזכירה.
הממצאים
BRIDGE השתוותה לשיטה המובילה הקודמת ב-LongMemEval-S וב-BEAM במסגרת רווחי סמך שחושבו בדגימה חוזרת. ב-EverMemBench היא הובילה ב-5.7-6.3 נקודות על מערכת הזיכרון הטובה ביותר להשוואה, עם אותו מודל קורא. היקף הקלט למודל הקורא היה ~5-7K טוקנים לשאילתה, יחידות הטקסט שהמודל מעבד.
מגבלות
לא נמצאה ארכיטקטורה מנצחת בכל המשימות. מחלצי עובדות בודדות איבדו את צורת הדפוס המודגם; בזיכרון המסכם מקטעים נשלף לעיתים כלל שהמודל הקורא לא יישם. הבלטת הכלל צמצמה במידה רבה את הפער.
למה זה חשוב
לטענת החוקרים, הערכת זיכרון לסוכנים צריכה למדוד את הפעולה שהוא מאפשר, ולא רק את המידע שהוא מחזיר.
היילייטס
- BRIDGE השתוותה לשיטה המובילה הקודמת ב-LongMemEval-S וב-BEAM במסגרת רווחי הסמך הסטטיסטיים.
- ב-EverMemBench השיגה BRIDGE יתרון של 5.7-6.3 נקודות על מערכת הזיכרון הטובה ביותר להשוואה, כאשר המודל הקורא היה זהה.
- BRIDGE השתמשה ב-~5-7K טוקנים בקלט למודל הקורא לכל שאילתה, ובקריאה אחת למודל בכל קליטת מידע או שאילתה.
- במבחני האתגר LangMem הצטיינה ביישום כללים, ואילו הזיכרון המסכם מקטעים של BRIDGE הצטיין בהסקת דפוסים.
- הבלטת כלל שנשלף צמצמה במידה רבה את הפער בין שליפתו לבין יישומו בידי המודל הקורא.
שאלות נפוצות
האם שליפת הכלל הנכון מבטיחה שהסוכן יפעל לפיו?
לא. בניסויים, הזיכרון המסכם מקטעים שלף לעיתים את הכלל, אך המודל הקורא לא פעל לפיו. הצגת הכלל באופן בולט יותר צמצמה במידה רבה את הפער.
מתי זיכרון פשוט יכול להספיק?
במבחנים LongMemEval-S ו-BEAM, הזיכרון המינימלי של BRIDGE השתווה לשיטה המובילה הקודמת במסגרת רווחי הסמך. ב-EverMemBench הוא אף עקף את מערכת הזיכרון הטובה ביותר להשוואה, עם אותו מודל קורא. אין בכך הוכחה שהוא מספיק לכל משימה.
מה ההבדל בין זכירת עובדות לבין שימור דפוסים?
במבחני האתגר, LangMem, המחלצת עובדות בודדות, הצטיינה ביישום כללים. הזיכרון המסכם מקטעים של BRIDGE הצטיין בהסקת דפוסים. החוקרים מצאו שחילוץ עובדות בודדות עלול לאבד את הצורה שבה הדפוס הודגם.
כיצד אפשר לבחון אם זיכרון מסייע לפעולת הסוכן?
החוקרים השתמשו בשאילתות שניתן לפתור רק באמצעות יישום כלל או דפוס שנזכרו בעבר, בלי שהשאילתה עצמה תזכיר אותם. כך נבחנת היכולת להשתמש בזיכרון, ולא רק לשלוף מידע.
האם קיימת ארכיטקטורת זיכרון שמתאימה לכל המשימות?
בניסויי האתגר לא נמצאה ארכיטקטורה שניצחה בכל המשימות. כל אחת מהגישות שנבחנו נכשלה במקום שבו האחרת הצליחה.