בנצ'מרקינג של סוכני LLM עבור זרימות עבודה לניהול עושר

המחקר מציע סט מבחנים וכלי הדמיה שמאפשרים לבדוק בצורה מבוקרת האם וכיצד ניתן לסמוך על סוכני בינה מלאכותית (מבוססי מודלים גדולים) לביצוע משימות של יועצי השקעות וניהול עושר. עבור בנקים, בתי השקעות, פינטק ומנהלי עושר – זהו כלי פרקטי לבחון מודלים לפני שמסמיכים אותם לעבוד ישירות מול לקוחות: האם הם יודעים לאסוף נתונים רלוונטיים, להשוות מוצרים, לבנות תיקים, לבצע סימולציות, ולהסביר ללקוח את ההמלצה – בלי לעשות שגיאות מסוכנות או להפר הוראות רגולטוריות. אפשר להשתמש במסגרת כבסיס ל-PoC ולבחירת ספק מודלי LLM, להשוות בין מודלים שונים תחת אותן משימות, ולמדוד שיפור לאורך זמן. בנוסף, המאמר מראה כיצד לשלב מעריך אוטומטי (LLM evaluator) שמדרג את איכות הביצוע, כך שארגונים יכולים להריץ אלפי סימולציות ולמדוד ביצועים לפני הטמעה אמיתית.

מבוא

המאמר מציג בעיה מרכזית בעולם היישומי של בינה מלאכותית: מודלי LLM וסוכנים אוטונומיים מתחילים להיכנס לעולמות פיננסיים רגישים – כמו ייעוץ השקעות וניהול עושר – אך אין כיום מסגרת הערכה סטנדרטית הבוחנת האם הם אכן מתנהגים באופן עקבי, מדויק ובטוח לאורך זרימות עבודה מלאות. המחבר טוען שבתחומי ניהול עושר, כל טעות חישובית או ניתוח שגוי עלולה לגרור נזק כספי ורגולטורי, ולכן יש צורך ב‑benchmark שמותאם ספציפית לזרימת העבודה האמיתית של יועץ עושר.

העבודה מתמקדת בשאלה: האם סוכני LLM כלליים (general-purpose) יכולים להשלים משימות ניהול עושר ברמת דיוק, עקביות והסבריות המספיקה לשימוש מעשי? כדי לענות על כך, המחבר בונה סביבת הערכה סינתטית עתירת-כלים ונתונים, ומגדיר סט של 12 זוגות משימות (סה"כ 24 תרחישים) המשקפים שלבים שונים בתהליך העבודה.

רקע: סוכני LLM וניהול עושר

המחבר מסביר שסוכני LLM מודרניים אינם רק צ'אטבוטים, אלא מנגנונים שמסוגלים לבצע רצפים של פעולות: קריאה/כתיבת קבצים, גישה למאגרי נתונים, הרצת סימולציות, קריאה ל‑API חיצוניים, ועוד. בעולמות הפיננסיים ניתן לראות שימושים כמו:

• איסוף מידע על נכסים, מדדים וקרנות.
• בניית תיקים בהתאם לפרופיל סיכון.
• הסבר החלטות השקעה בשפה פשוטה ללקוח.

עם זאת, הספרות הקיימת מתמקדת ברוב המקרים במשימות טקסט כלליות או בקווי מתאר רחבים של "סוכן פיננסי", ולא בזרימות עבודה מפורטות בסגנון wealth management, הכוללות אילוצים רגולטוריים, השוואות מספריות מדויקות, ועמידה ביעדים כמו תשואה/סיכון.

מבנה הבנצ'מרק

הבנצ'מרק שהמחבר מציע מורכב מ‑12 זוגות משימות (12 task-pairs), כאשר בכל זוג יש שתי גרסאות דומות של בעיה – למשל אותו סוג החלטה, אך עם נתונים שונים או אילוצים שונים. הדבר מאפשר לבדוק עקביות בין משימות כמעט זהות.

המשימות מחולקות לכמה קטגוריות פונקציונליות:

1. איסוף והבנת נתונים (Information Retrieval & Understanding)

   • איתור נתונים פיננסיים רלוונטיים מתוך מאגרי מידע.
   • סיכום מידע ללקוח בשפה פשוטה.

2. ניתוח והשוואה (Analysis & Benchmarking)

   • חישוב תשואות, סטיית תקן ומדדי ביצועים נוספים.
   • השוואת חלופות השקעה תחת קריטריונים מדויקים.

3. סימולציה ותקשורת (Simulation & Communication)

   • הרצת סימולציות של ביצועי תיק בתנאי שוק שונים.
   • הסבר ללקוח לגבי סיכונים, תרחישים ו trade-offs.

4. קבלת החלטות תחת אילוצים (Constrained Decision-Making)

   • בחירת תיק או אסטרטגיה תוך עמידה במגבלות סיכון, זמן השקעה ורגולציה.
   • הצדקת הבחירה עם נימוקים כמותיים ואיכותניים.

לכל משימה מוגדרת תשובת זהב (reference) או סט קריטריונים ברורים שניתן להשוות אליהם.

סביבת ההדמיה והנתונים

כדי שניתן יהיה לבדוק את המודלים בצורה בטוחה וחוזרת, המחבר בונה סביבת סימולציה סינתטית:

• יקום פיננסי סינתטי הכולל מניות, אג"ח, קרנות ותיקים מדומים, עם נתוני זמן–סדרה מלאים.
• גרסאות שונות של אותו נכס/תיק כדי לבדוק רגישות לשינויים קטנים.
• נתוני "קרקע אמת" (ground truth) לכל חישוב נדרש: תשואות לתקופות שונות, מדדי ביצועים, פרופילי סיכון.

בנוסף, הסוכן מקבל גישה לסט כלים (tools) פיננסיים:

• פונקציות לחישוב תשואה, סטיית תקן, יחס שארפ וכדומה.
• פונקציות לאיתור נתונים היסטוריים.
• ממשקי API סינתטיים המדמים מערכות בנקאיות/ברוקראז'.

המחבר מדגיש כי הסביבה בנויה כך שלא ניתן "להדליף" תשובות בדיוק, אלא צריך להפעיל שיפוט, לבצע חישובים ולהשתמש בכלים המתאימים.

צינור ההערכה (Generation–Evaluation Pipeline)

הערכה ידנית של מאות/אלפי תשובות הייתה יקרה, ולכן מוצעת מסגרת אוטומטית:

• המודל/הסוכן מייצר פתרון למשימה נתונה (generation).
• LLM נוסף משמש בתור "בוחן" (evaluator) ומשווה את התשובה לקריטריונים/תשובת הזהב, תוך מתן ציון כמותי.
• לעיתים הבוחן משתמש גם בכלים חישוביים כדי לבדוק נכונות מספרית.

הציון נמדד במספר ממדים:

1. נכונות מתמטית/פיננסית – חישובים מדויקים, שמירה על נתונים.
2. כיסוי מלא של הדרישות – האם נענו כל חלקי השאלה.
3. עקביות פנימית – האם אין סתירות בין חלקי התשובה ובין שתי משימות דומות.
4. איכות ההסבר – בהירות, שימוש במונחים נכונים, התאמה לקהל היעד (לקוח).

המחבר מודע לכך שמעריך מבוסס LLM עלול להיות מוטה, ולכן בוחן יציבות ציונים על פני מספר ניסויים ומודלי בוחן שונים.

מודלים וסוגי סוכנים שנבחנו

המאמר אינו מציג רשימה מלאה של כל מודל מסחרי ספציפי, אך מתאר שהשוואת הביצועים נעשתה על פני:

• מספר מודלי LLM כלליים בקנה מידה גדול (בדומה ל‑GPT‑4, Claude וכו').
• גרסאות שונות של "רמת אוטונומיה" של הסוכן:
  • Agentic-high – הסוכן בוחר לבד אילו כלים להריץ, כמה פעמים, ואיך לבנות את תהליך הפתרון.
  • Agentic-low / Tool-assisted – המודל משתמש בכלים רק כאשר מתבקש במפורש או באופן מוגבל.
  • Non-agentic baseline – מודל טקסטואלי בלבד ללא שימוש בכלים חיצוניים.

המטרה היא לבדוק האם אוטונומיה גבוהה אכן משפרת ביצועים, והאם היא גם מגדילה סיכון לטעויות מורכבות.

תוצאות אמפיריות

ביצועים כלליים

המחבר מדווח כי סוכני LLM עם גישה לכלים פיננסיים וסביבת סימולציה משיגים ביצועים טובים משמעותית מבסיס לא-סוכני:

• על פני 12 זוגות המשימות, הסוכנים האוטונומיים הגיעו לשיעור הצלחה גבוה יותר (לפי ציון הבוחן) ברוב המשימות, במיוחד במשימות הדורשות חישובים רב-שלביים.
• עם זאת, באף תצורה לא הושגה "שלמות" – גם המודלים החזקים ביצעו טעויות.

טעויות אופייניות

זוהו מספר דפוסי טעות חוזרים:

• טעויות חישוביות: שגיאות בסכימה, אחוזים, או חישוב תשואה לתקופות שונות, לעיתים עקב שימוש חלקי בכלים.
• אי-שימוש בכלים: המודל מנסה לענות "מהזיכרון" במקום להריץ את הכלי המתאים, וכתוצאה נותן ערכים בקירוב שאינם תואמים את ה‑ground truth.
• חוסר עקביות בין שתי משימות כמעט זהות: בבחירת בין שתי אסטרטגיות דומות, הסוכן עשוי להמליץ על אסטרטגיה A בתרחיש ראשון ו‑B בשני, ללא שינוי תכליתי בנתונים.
• נימוקים לוגיים חלשים: גם כאשר המספרים נכונים, ההסבר ללקוח עשוי להיות חלקי, או לבלבל בין סיכון לטווח קצר וארוך.

השפעת רמת האוטונומיה

התוצאות מצביעות על trade-off:

• אוטונומיה גבוהה:

  • יתרון: בממוצע ביצועים טובים יותר במשימות מורכבות הדורשות רצף פעולות, איסוף נתונים וסימולציה.
  • חיסרון: במקרים מסוימים, הסוכן מבצע "שרשרת טעויות" – למשל, בחירה בכלי לא מתאים, ואז חישוב על בסיס נתונים חלקיים.

• אוטונומיה נמוכה / ללא כלים:

  • יתרון: פחות פעולה שגויה, מעט יותר צניעות בתשובות.
  • חיסרון: כישלון במשימות הדורשות חישובים מדויקים, ובייחוד בביצוע השוואות כמותיות.

בסך הכל, המחבר מסיק כי שילוב של סוכן אוטונומי עם בקרות (guardrails) – למשל, בדיקות מתמטיות נוספות, או מגבלות על שימוש בכלים – עשוי להיות הפתרון המעשי.

דיון והשלכות יישומיות

המחקר מדגיש מספר מסקנות יישומיות עבור גופים פיננסיים:

1. אין להסתפק בהערכת LLM על בסיס שאלות טקסט כלליות – יש צורך בבחינת מודלים על פני זרימות עבודה מלאות, עם נתונים וכלים אמיתיים או סינתטיים.
2. אוטונומיה היא חרב פיפיות – היא מאפשרת פתרון יעיל של משימות מורכבות, אך גם מגדילה מרחב טעות אם אין בקרות.
3. חשיבות ההסבריות – בתרחישי ניהול עושר ללקוח, לא מספיק להגיע למסקנה נכונה; חייבים גם להסביר את הדרך, להבהיר סיכונים ולהיות עקביים בין תרחישים דומים.
4. תפקיד מעריך מבוסס LLM – ניתן להיעזר ב‑LLM כשכבת הערכה אוטומטית ("בוחן") כדי להאיץ בדיקה של מודלים וסוכנים חדשים, אך יש לוודא יציבות ואמינות של מעריך כזה.

המחבר גם מציע כי הבנצ'מרק יכול לשמש כבסיס לסטנדרט תעשייתי ראשוני, בדומה ל‑MMLU בתחומי ידע כללי, אך ממוקד בעולם ניהול העושר.

מגבלות וכיווני מחקר עתידיים

המחקר נעשה בסביבה סינתטית – למרות שהיא מפורטת וריאליסטית, היא אינה מחליפה נתוני שוק אמיתיים, ואינה כוללת את כל המורכבות הרגשית, המשפטית והרגולטורית של עבודה מול לקוחות אמיתיים. בנוסף:

• המודלים שנבדקו הם כלליים, לא fine-tuned ספציפית על דומיין פיננסי. ביצועיהם יכולים להשתפר באופן משמעותי לאחר התאמה.
• המעריך האוטומטי (LLM evaluator) עלול להטות ציונים לטובת מודלים מסוימים הדומים לו בארכיטקטורה או בנתוני האימון.

המחבר מציע כיוונים עתידיים:

• הרחבת הבנצ'מרק למשימות רגולטוריות מפורשות (למשל, עמידה ב‑MiFID / SEC).
• שילוב נתונים אמיתיים (אנונימיים) ותצפיות על יועצים אנושיים כ"קו בסיס אנושי".
• פיתוח מדדים מובחנים עבור סיכון (Propensity to Hallucinate / Risk Score) לצד מדדי דיוק רגילים.

סיכום

המאמר מציג מסגרת ראשונית אך מקיפה לבחינת סוכני LLM בתחום ניהול עושר. הוא מראה שניתן להפיק ערך משמעותי מסוכנים כאלה – במיוחד למשימות ניתוח וסימולציה – אך גם מדגים בבירור את המגבלות והסיכונים. הבנצ'מרק והקוד הנלווים נועדו לאפשר לקהילה האקדמית והתעשייתית להשוות מודלים וסוכנים בצורה שקופה, כשלב הכרחי לפני אימוץ נרחב של עוזרי השקעות מבוססי AI.