אחזור ראיות מרובה-מקורות ורב-סוכני לבדיקת עובדות

המחקר רלוונטי לכל ארגון שצריך לצמצם טעויות עובדתיות בתוכן שנוצר/נצרך—מערכות חדשות, צוותי תוכן ושיווק, מחלקות משפטיות ו-Compliance, פלטפורמות מדיה חברתית, ואף ארגונים שמטמיעים עוזרי AI פנימיים. במקום לסמוך על חיפוש “דומה בטקסט” (שלעיתים מחזיר כתבות לא רלוונטיות או מפספס קשרי סיבה-תוצאה/הקשרים עקיפים), השיטה מציעה דרך מובנית יותר: (1) להתחיל מגרף ידע אמין כדי לאתר ישויות וקשרים מרכזיים לטענה, (2) להרחיב את התמונה באמצעות שליפה מהווב רק כשצריך, ו-(3) להפעיל סוכן מבוסס LLM שמחליט צעד-אחר-צעד איזה מקור/פעולה תוסיף הכי הרבה ראיות. בפועל, זה יכול לשפר איכות בדיקות עובדות אוטומטיות, להפחית סיכון לפרסום מידע שגוי, ולתמוך בייצור דוחות אימות עם “שביל ראיות” ברור יותר (traceability) — רכיב חשוב לקבלת החלטות עסקיות ולניהול סיכונים.

רקע ומוטיבציה

המאמר עוסק באתגר ההולך ומחריף של הפצת דיסאינפורמציה באינטרנט, שמייצרת איום משמעותי על חברות ועל יחידים ומחייבת יכולות בדיקת עובדות (Fact-Checking) אמינות, עמידות וסקיילביליות. בדיקת עובדות מודרנית נשענת על אחזור ראיות (Evidence Retrieval): איתור מקורות תומכים/מפריכים לטענה נתונה.

המחברים מצביעים על מגבלה מרכזית בגישות קודמות:

• שיטות מסורתיות רבות לומדות דפוסים סמנטיים וחברתיים מהדאטה של האימון, ולכן מתקשות להכליל (generalize) להתפלגויות חדשות של מידע.
• גישות עדכניות מבוססות Retrieval-Augmented Generation (RAG) מנצלות LLM כדי “לנמק” מעל מסמכי ראיות שנשלפים, אך האחזור עצמו נשען לרוב על דמיון טקסטואלי. כתוצאה, המערכת מתקשה לאתר ראיות שמגלמות קשרים סמנטיים רב-שלביים (multi-hop) בתוך תוכן עשיר, ועלולה להחמיץ קורלציות עובדתיות עדינות בין הראיות לבין הטענה.

החמצות אלו באחזור מובילות—לפי המחברים—לתחזיות לא מדויקות של אמיתות הטענה (veracity prediction), משום שהמודל “ניזון” מראיות חלקיות או לא נכונות.

תרומת המאמר (Overview)

המחברים מציעים מסגרת בשם WKGFC (כפי שמופיע בתקציר), שמטרתה לשפר אחזור ראיות לבדיקת עובדות באמצעות שילוב:

1. גרף ידע פתוח ומאושר (authorized open knowledge graph) כמקור ראיות מרכזי ומבני.
2. אחזור תוכן מהווב כדי להשלים את הראיות שמגיעות מגרף הידע.
3. מערכת סוכנים מבוססת LLM שמבצעת אחזור וקבלת החלטות באופן איטרטיבי.

רעיון מרכזי: ראיות מובנות מגרף ידע + השלמה מהווב

במקום להסתמך בעיקר על מסמכים טקסטואליים שנשלפים לפי דמיון סמנטי, WKGFC מנצלת גרף ידע כדי:

• “לעגן” (ground) את הבדיקה בישויות וקשרים (entities/relations) שנחשבים אמינים יותר.
• לאפשר מעבר טבעי בין קשרים בגרף (multi-hop) בצורה מפורשת, מה שמקל על איתור ראיות עקיפות ורב-שלביות.

לאחר שליפת תת-גרף רלוונטי (knowledge subgraph), המערכת משתמשת בתוכן מהווב לצורך completion—כלומר הרחבה/השלמה של הראיות מעבר למה שמופיע בגרף.

ניסוח התהליך כ-MDP (Markov Decision Process)

המאמר מתאר שהמחברים מממשים את תהליך האחזור כ-תהליך החלטה מרקובי (MDP):

• מצב (state): הראיות שנאספו עד כה והטענה (claim) שיש לבדוק.
• פעולות (actions): צעדים שהסוכן יכול לבצע כדי לשפר/להרחיב את הראיות (למשל בחירה מה לאחזר, כיצד להרחיב תת-גרף, אילו מקורות ווב להביא להשלמה).
• מדיניות (policy): סוכן LLM “מנמק” ומחליט בכל צעד מה הפעולה הבאה בהתאם למצב הנוכחי.

גישה זו הופכת את האחזור מפרוצדורה חד-פעמית (retrieve once) לתהליך איטרטיבי שבו כל צעד נשען על תוצאות קודמות.

Multi-Agent Evidence Retrieval

כפי שמשתקף בכותרת המאמר, המסגרת מתמקדת ב-Multi-Sourced (ריבוי מקורות: גרף ידע + ווב) וב-Multi-Agent. מהתקציר עולה שליבת המערכת היא “סוכן LLM מנמק” שמקבל החלטות רציפות, והרעיון הרב-סוכני מרמז על חלוקת עבודה בין רכיבי אחזור/אימות שונים או אסטרטגיות פעולה שונות. (המאמר המלא צפוי לפרט את תפקידי הסוכנים, אך בתקציר הדגש הוא על agentic LLM שמבצע את תהליך ה-MDP.)

התאמת הסוכן למשימת Fact-Checking באמצעות Prompt Optimization

כדי להתאים את ה-MDP למשימת בדיקת עובדות, המחברים משתמשים ב-Prompt Optimization על מנת לבצע fine-tuning התנהגותי של ה-LLM הסוכני (agentic LLM) ברמת הפרומפטים.

במילים אחרות, במקום או בנוסף לאימון משקולות מלא, הם מייעלים את הנחיות המודל כך שהסוכן יבחר פעולות אחזור טובות יותר לאורך רצף השלבים, בהתאם לטענה ולראיות שכבר נאספו.

ממצאים ותוצאות

בקטע שסופק מופיע התקציר של arXiv אך לא מופיעות תוצאות כמותיות (למשל דיוק, F1, nDCG, Recall@K) או השוואות לבייסליינים. לכן לא ניתן לצטט מספרים או טבלאות תוצאות מתוך המידע שסופק.

עם זאת, הטענה המרכזית של המאמר היא שהשילוב בין:

• אחזור מובנה מגרף ידע (לטובת multi-hop relations),
• השלמת ראיות מהווב,
• ותהליך סוכני איטרטיבי (MDP) עם אופטימיזציית פרומפטים,

אמור להפחית החמצות של קשרים עובדתיים עדינים ולשפר את הדיוק של veracity prediction במשימות fact-checking.

מסקנות והשלכות

המאמר מציע שינוי פרדיגמה יחסי עבור fact-checking מבוסס LLM/RAG: מעבר מאחזור שמבוסס בעיקר על טקסט ותאימות סמנטית, לאחזור שמתחיל ממקור ידע מובנה (Knowledge Graph) שמקל על reasoning רב-שלבי, ומשלים מידע מהווב לפי צורך.

המסגור כ-MDP וההתמקדות ב-agentic LLM מדגישים שהבעיה אינה רק “איזה מסמכים לשלוף”, אלא “איזה רצף החלטות לבצע” כדי לבנות סט ראיות איכותי, אמין ומספיק עשיר כדי לתמוך בהחלטת אמת/שקר.

הערת שלמות: הסיכום המפורט לעיל מבוסס על התקציר ומטא-דאטה שמופיעים בדף arXiv שסופק. כדי לשחזר את מבנה הפרקים המלא של המאמר (Introduction/Related Work/Method/Experiments וכו’) ולספק נתונים מספריים, יש צורך בטקסט המלא (PDF/HTML של המאמר).