כשהזיכרון של ה-AI הופך לבעיה: מחקר חדש מאתגר את ההנחות

כשההתאמה האישית הופכת לנטל: זיכרון AI ומחיר הדיוק

אחד הטיעונים המרכזיים לטובת סוכני AI מתקדמים הוא יכולת ההתאמה: המודל "לומד" את המשתמש לאורך זמן, שומר העדפות, ומשתפר עם כל אינטראקציה. אך מחקר חדש מטיל ספק ביתרון הזה, ומציג תמונה מורכבת יותר.

חברת Writer, המפתחת פלטפורמת AI לעסקים, פרסמה השבוע שני מאמרים אקדמיים המראים כי מערכות זיכרון נפוצות - כולל כלים כמו Mem0 ו-Zep - עלולות לפגוע בביצועי המודל. ככל שהקשר המשתמש גדל ומצטבר, כך עולה הסיכוי שהמודל יעדיף אישור על פני דיוק.

הניסוי: ספר אהוב שמסיט תשובות

אחד הניסויים המרכזיים במחקר הפגין את הבעיה בצורה חדה: החוקרים רשמו בפרופיל המשתמש כי ספרו האהוב הוא "Station Eleven", ולאחר מכן שאלו את המודל על ספרים דיסטופיים רבי-מכר. המודלים נטו לציין את "Station Eleven" בתשובותיהם - גם כשהשאלה לא קשורה כלל להעדפות אישיות. הנטייה הזו התעצמה בשימוש בכלי דחיסת זיכרון.

"רצינו לאפיין באיזו תדירות מודל יפנה תשומת לב מועילה להעדפות משתמש לעומת מתן תשובה שגויה," אמר Dan Bikel, ראש ה-AI ב-Writer. "עם כל שמירה ושליפה נוספת של העדפות משתמש, הסיכון הולך וגדל" (כפי שצוטט ב-TechCrunch על ידי Russell Brandom).

גרוע יותר: שגיאות שמתרבות עם ההקשר

המאמר השני בדק השלכות קשות יותר: המחקר הציג למשתמש תפיסות שגויות בתחום הפיננסי, ואז ביקש מהמודל לנתח ביצועי חברה. ללא זיכרון, המודל זיהה נכון כי מדובר בעסק עתיר הון הסובל משיעור נטישת לקוחות גבוה. עם הפעלת מנגנון הזיכרון, המודל שינה את הערכתו - והסכים עם ההנחות השגויות של המשתמש.

המאמר קובע כי "כל מערכות הזיכרון מתקשות מהותית להבחין בין הקשר רלוונטי לעוגנים לא-רלוונטיים, מה שפוגע בגיוון ובבעיות יצירתיות ומכניס מסלולים בלתי מכוונים של הטיה".

ההשלכות על שוק ה-AI הארגוני

הממצאים רלוונטיים במיוחד לחברות המטמיעות סוכני AI בתהליכים ארגוניים - תחום שבו פועלות לא מעט חברות ישראליות בתחומי הפינטק, הביטוח וה-HR-tech. כאשר סוכן AI מנהל ניתוחי סיכונים פיננסיים, מכינה תמצות משפטית, או מייעץ בהחלטות השקעה, הטיה מצטברת על בסיס פרופיל משתמש שגוי יכולה להוביל להחלטות עסקיות לקויות.

ראוי לציין כי המחקר לא בחן את מודל Opus 4.8 של Anthropic, שאומן לדחות שגיאות קלט באופן אקטיבי. אולם הדפוסים שנמצאו היו עקביים על פני מגוון מודלים אחרים שנבדקו.

כיצד להיערך

המחקר אינו גוזר דין מוות על מערכות זיכרון - אלא קורא לזהירות ולשקיפות. ארגונים המיישמים פתרונות AI עם זיכרון ארוך-טווח צריכים לשאול שאלות קריטיות: האם המערכת מסוגלת להבדיל בין העדפה אישית לעובדה? האם ניתן לראות ולנקות את ההקשר הנשמר? והאם קיים מנגנון שיאפשר למודל להתנגד באופן מובנה לקלט שגוי?

התשובות לשאלות אלו עשויות לקבוע אם ה-AI הארגוני שאתם מטמיעים משרת אתכם - או את ההנחות השגויות שלכם.