FIRE: בנצ'מרק מקיף להערכת בינה פיננסית ויכולות הסקה (Financial Intelligence and Reasoning Evaluation) |

לארגונים פיננסיים ולחברות שמטמיעות עוזרי AI (בבנקאות, ביטוח, פינטק, ייעוץ או כספים ארגוניים), FIRE מספק דרך סטנדרטית “לבדוק לפני שמטמיעים”: האם מודל שפה באמת מבין מושגים פיננסיים והאם הוא מצליח להתמודד עם תרחישים עסקיים ריאליים (למשל החלטות השקעה, ניהול סיכונים, תאימות/רגולציה, ניתוח דוחות, תמחור וכד’). במקום להסתמך על דוגמאות נקודתיות או הדגמות שיווקיות, הבנצ'מרק מציע סט שאלות גדול ומובנה, עם שילוב של שאלות אובייקטיביות (תשובה נכונה) ושאלות פתוחות שמוערכות לפי קריטריונים. כך ניתן להשוות בין ספקי מודלים, למדוד שיפור בין גרסאות, להחליט מתי נדרש מודל ייעודי לדומיין מול מודל כללי, ולהקטין סיכון תפעולי/רגולטורי שנובע מטעויות או “הזיות” בתכנים פיננסיים.

רקע ומוטיבציה

מודלים גדולים (LLMs) משמשים יותר ויותר למשימות פיננסיות: ניתוח מידע, תמיכה בקבלת החלטות, ניסוח מסמכים, מענה לשאלות רגולטוריות ועוד. עם זאת, הערכה עקבית של “אינטליגנציה פיננסית” עדיין מאתגרת: מבחנים תיאורטיים בלבד לא בהכרח משקפים ביצועים בתרחישים עסקיים, ומנגד הדגמות תרחישיות נקודתיות אינן מספקות כיסוי שיטתי של הדומיין. המחקר מציג את FIRE כדי לגשר על הפער הזה ולספק כלי הערכה מקיף שמודד גם ידע תיאורטי וגם יכולת יישום מעשית בסביבה פיננסית.

תרומות עיקריות

המחברים מציגים:

1. FIRE Benchmark — בנצ'מרק מקיף להערכת ידע פיננסי וחשיבה (reasoning) של LLMs.
2. שני צירי הערכה משלימים: ידע פיננסי תיאורטי + יכולות בתרחישים עסקיים אמיתיים.
3. מטריצת הערכה שיטתית למיפוי דומיינים פיננסיים ותתי־דומיינים/פעילויות עסקיות, כדי להבטיח כיסוי.
4. סט נתונים של 3,000 שאלות תרחיש פיננסיות, הכולל שאלות סגורות ושאלות פתוחות.
5. הערכה מקיפה של מודלי SOTA, כולל מודל דומייני (XuanYuan 4.0) כבסיס השוואה.
6. שחרור ציבורי של שאלות הבנצ'מרק וקוד ההערכה כדי לאפשר השוואה ושחזור תוצאות במחקר עתידי.

רכיב 1: הערכה תיאורטית (Theoretical Financial Knowledge)

לצורך בחינת ידע תיאורטי, המחברים אוצרים אוסף מגוון של שאלות בחינה מתוך מבחני הסמכה פיננסיים מוכרים. הרציונל: שאלות מסוג זה מנוסחות כדי לבדוק הבנה מושגית, חישובית ורגולטורית ברמה מקצועית, ולכן מספקות אינדיקציה לסף ידע “אקדמי/מקצועי” של מודל.

בממד זה מושם דגש על:

• מגוון סוגי שאלות ונושאים (כפי שמופיעים במבחני הסמכה).
• בדיקת הבנה עמוקה והיכולת ליישם ידע תיאורטי על בעיות בסגנון בחינה.

רכיב 2: הערכה מעשית בתרחישים (Practical Business Scenarios)

כדי להעריך ערך מעשי, המחברים מציעים מטריצת הערכה שמקטלגת “דומיינים פיננסיים מורכבים” ומוודאת כיסוי של תתי־דומיינים ופעילויות עסקיות חיוניות. המטריצה משמשת מסגרת לתכנון הדאטהסט ולניתוח ביצועים לפי קטגוריות (ולא רק ציון כולל).

על בסיס המטריצה נאספו 3,000 שאלות תרחיש פיננסיות. השאלות מחולקות לשני סוגים:

• שאלות סגורות (Closed-form decision questions) עם תשובות ייחוס (reference answers), המאפשרות מדידה אובייקטיבית יחסית.
• שאלות פתוחות (Open-ended questions) שנבחנות לפי רובריקות מוגדרות מראש (predefined rubrics), כדי למדוד איכות פתרון/נימוק/המלצה בתרחיש מורכב, שבו לעיתים אין תשובה יחידה קצרה.

הגישה הזו מיועדת להעריך לא רק “ידע” אלא גם Reasoning והיכולת להתמודד עם בעיות דמויות־עבודה: קבלת החלטה, נימוק, זיהוי סיכונים, והצעת צעדים.

פרוטוקול הערכה ומודלים שנבדקו

המחברים מבצעים הערכות מקיפות של מודלים מתקדמים (state-of-the-art) על FIRE. בנוסף למודלים כלליים, הם כוללים את XuanYuan 4.0 — מודל הדומיין הפיננסי העדכני שלהם — כקו בסיס חזק (strong in-domain baseline). מטרת ההשוואה היא להבין:

• עד כמה מודלים כלליים מצליחים במטלות פיננסיות.
• האם התמחות דומיינית מעניקה יתרון, ובאילו אזורים.
• מהם גבולות היכולת הנוכחיים של LLMs ביישומים פיננסיים.

המאמר מדגיש שהתוצאות מאפשרות ניתוח שיטתי של גבולות היכולת של LLMs בפיננסים, במיוחד בהבחנה בין ידע תיאורטי לבין ביצוע בתרחישים מעשיים.

נתונים מספריים ועובדות מרכזיות

• FIRE כולל 3,000 שאלות תרחיש פיננסיות.
• הדאטהסט משלב שאלות סגורות עם תשובות ייחוס ושאלות פתוחות עם רובריקות הערכה.
• המאמר מציין הערכה מקיפה של מודלי SOTA, כולל XuanYuan 4.0 כבסיס דומייני.

שחרור לקהילה (Open Release)

כדי לאפשר שימוש חוזר, השוואת מודלים ושחזור, המחברים משחררים לציבור:

• את שאלות הבנצ'מרק.
• את קוד ההערכה.

מסקנות ומשמעות

FIRE נועד להפוך להערכת תקן עבור יכולות פיננסיות של LLMs, על ידי שילוב בין מבחני ידע תיאורטיים לבין בדיקה תרחישית שמייצגת דרישות עסקיות אמיתיות. המסגרת מאפשרת לזהות נקודות חולשה לפי תתי־דומיינים ולא רק לפי ציון כולל, ותומכת בהחלטות הנדסיות ועסקיות: בחירת מודל, צורך בהתמחות דומיינית, ושיטות מדידה עקביות לשיפור לאורך זמן.