מסגרת ניתנת להסבר של נימוק ייחוס רב-גרנולריות לזיהוי פייק ניוז

המחקר מציע דרך פרקטית לבנות מערכות לזיהוי פייק ניוז שלא רק מסמנות תוכן כחשוד, אלא גם מסבירות מה בדיוק לא תקין בו. זה חשוב מאוד לפלטפורמות מדיה חברתית, גופי חדשות, צוותי Trust & Safety, רגולטורים וארגונים שמנהלים סיכוני מוניטין. במקום לקבל "ציון סיכון" לא ברור, אפשר לדעת אם הבעיה היא זיוף בתמונה, סתירה לעובדות ידועות, ערבוב בין אירועים שונים או חוסר התאמה בזמן ובמקום. מבחינה עסקית, זה יכול לשפר תהליכי מודרציה, לקצר זמן בדיקת תוכן, להפחית טעויות סיווג, ולחזק אמון מול משתמשים ומקבלי החלטות. בנוסף, המודל מתאים לעולם שבו תוכן מזויף נהיה מתוחכם יותר בזכות כלי GenAI ו-Deepfake, ולכן נדרשות מערכות שמזהות סוגי מניפולציה שונים ולא רק לומדות דפוסים סטטיסטיים כלליים.

מבוא

המאמר עוסק באתגר של זיהוי חדשות כזב רב-מודאליות, כלומר פוסטים המשלבים טקסט ותמונה. המחברים טוענים כי מרבית השיטות הקיימות נשענות על יישור או היתוך תכונות בין טקסט לתמונה, אך עושות זאת ברמה שטחית יחסית ולכן פועלות כ"קופסה שחורה". מעבר לכך, הן מתייחסות לכל חדשות הכזב כאילו הן מאותו סוג, בעוד שבפועל מזייפי תוכן משתמשים באסטרטגיות שונות: זיוף תמונה, סתירה לעובדות, ערבוב בין ישויות או בין אירועים, ואי-התאמות בזמן ובמרחב. על בסיס תובנות פסיכולוגיות על מניעי מפיצי פייק ניוז, המחקר מגדיר ארבעה רמזים עיקריים לזיוף ומציע מסגרת ניתנת להסבר שמנסה לייחס את הזיוף לאחת או יותר מהסיבות הללו.

תרומת המחקר והרעיון המרכזי

המסגרת המוצעת נקראת EMAR-FND. היא כוללת ארבע רשתות נימוק היררכיות עדינות-גרעין, שכל אחת בודקת היבט אחר של פייק ניוז:

1. זיהוי מניפולציה בתמונה.
2. בדיקת עקביות עובדתית בעזרת ידע חיצוני.
3. בדיקת עקביות ברמת האירוע בין טקסט לתמונה.
4. בדיקת התאמה מרחבית-זמנית.

המחברים מוסיפים גם מודול מיזוג רב-גרנולרי שמחשב את החשיבות היחסית של כל אחד מהענפים ומאחד את התחזיות לציון סופי. בכך, המודל לא רק מסווג אלא גם מספק ייחוס ברור יותר של סיבת החשד.

מאגרי הנתונים והגדרת הבעיה

הניסויים בוצעו על שני מאגרי נתונים ציבוריים:

• AMG: כולל 3018 חדשות אמיתיות ו-2004 חדשות מזויפות. הנתונים מקורם מאתרי fact-checking כמו Snopes ו-CHECKYOURFACT, לצד רשתות חברתיות כמו Twitter ו-TikTok. מאחר שהמחקר עוסק בטקסט ותמונה, כאשר היו סרטונים הוצא פריים אקראי כתמונה מייצגת.
• PHEME: אחד המאגרים הבולטים בתחום ניתוח שמועות, עם 3830 חדשות אמיתיות ו-1972 חדשות מזויפות המבוססות על חמישה אירועי חדשות מתפרצות. כאשר לפוסט לא הייתה תמונה, הוזנה תמונה שחורה משלימה.

הבעיה נוסחה כבעיית סיווג בינארי: קלט חדשותי רב-מודאלי n={text, image} ופלט Y, כאשר 0 מציין חדשות אמיתיות ו-1 מציין חדשות מזויפות.

שיטות ומבנה המודל

זיהוי זיוף בתמונה

הענף הראשון משתמש ב-Noiseprint, טביעת אצבע רעשית של חיישן/מצלמה, כדי לזהות עקבות חריגים בתמונה המעידים על עריכה, splicing או deepfake. המימוש מבוסס על DnCNN עם 15 שכבות, מאומן באמצעות InfoNCE כדי ללמד את המודל להבחין בין patches מאותו מקור ו-patches שונים. לאחר מכן מופעלות טכניקות מיזוג רב-קני מידה ומודול cross-attention, ולבסוף מפיקים מפת אנומליה ומפת ביטחון שמרוכזות לדסקריפטור גלובלי ולציון מניפולציה.

גרף עוגנים מודע-ידע

הענף השני מיועד לזיהוי סתירות עובדתיות. כדי לא להציף את המודל בידע חיצוני לא רלוונטי, החוקרים בונים גרף עוגנים אדפטיבי מתוך knowledge graph בעזרת למידת חיזוק מסוג Actor-Critic. הסוכן בוחר צמתים וישויות רלוונטיים מתוך הגרף החיצוני, מרחיב אותם במסלולי multi-hop, ואז מבצע refinement לגרף באמצעות סף דמיון, propagation, דירוג Top-k ואופטימיזציה שמטרתה לסלק קשרים רועשים. לאחר pooling בעזרת GAT מתקבל ייצוג משולב של הטקסט, הידע והאובייקטים בתמונה, שממנו נגזרת תחזית עובדתית.

עקביות ברמת האירוע

הענף השלישי מתמקד בשאלה האם הטקסט והתמונה מתארים את אותו אירוע. ייצוגי מילים ותיאור האירוע הטקסטואלי מופקים באמצעות BERT, ייצוגי אובייקטים מהתמונה מופקים באמצעות ResNet-50, ואירועים מורכבים בטקסט מזוהים בעזרת DeepSeek-R1. כל היישויות מוכנסות לגרף הטרוגני דו-כיווני, שבו Graph Attention Network בוחר קשרים רלוונטיים בין רכיבי הטקסט, התמונה והאירוע. לאחר global average pooling מתקבלת תחזית ברמת האירוע.

רשת התאמה מרחבית-זמנית

הענף הרביעי בוחן האם המידע המרחבי והזמני המשתמע מהתמונה תואם את הטקסט. לשם כך מתבצע multi-head attention בין סמנטיקת הפוסט לבין ראיות חזותיות, ולאחר מכן מיפוי של הראיות ושל המידע הזמני לאותו מרחב תכונות. השילוב ביניהם מספק אינדיקציה לאי-התאמות של זמן ומקום.

מודול האגרגציה הרב-גרנולרי

בשלב האחרון מחברים את התחזיות מכל ארבעת הענפים: מניפולציית תמונה, בדיקה עובדתית, עקביות אירועית והתאמה מרחבית-זמנית. לכל ענף מחושב משקל חשיבות באמצעות שכבה מלאה עם Sigmoid, והתחזיות המשוקללות מחוברות יחד עם ייצוגי הטקסט והתמונה להחלטה סופית. פונקציית האובדן כוללת cross-entropy בתוספת רכיבי loss לענפי הידע, האירועים, המרחב-זמן ולמידת החיזוק.

הגדרות ניסוי ובסיסי השוואה

המודל מומש ב-PyTorch ורץ על NVIDIA A40. אורך רצף טקסט הוגבל ל-512 תווים, כל התמונות שונו לגודל 224×224, גודל batch היה 64, קצב הלמידה 1e-5, ומספר האפוקים עד 200 עם early stopping אחרי 10 אפוקים ללא שיפור. פרמטרי Noiseprint הוקפאו למניעת catastrophic forgetting.

ההשוואה בוצעה מול שבע שיטות בסיס: CLIP+MLP, CAFE, MCAN, BMR, MGCA, SAFE ו-Event-Radar.

תוצאות עיקריות

המאמר מדווח כי EMAR-FND השיג את התוצאות הטובות ביותר תחת אותם תנאי ניסוי. ציון ה-F1 עבור מחלקת הפייק ניוז היה 84.4 על AMG ו-91.5 על PHEME. המחברים מציינים כי ב-AMG מודל BMR היה טוב מקודמיו, בין היתר עם יתרון של כ-6% על CAFE, אך עדיין הוגבל ביכולתו ללכוד תכונות רב-גרנולריות. ב-PHEME מודל Event-Radar היה החזק ביותר בין קווי הבסיס, כנראה משום שהוא כבר משלב מידע על מניפולציה חזותית, סנטימנט טקסטואלי ואי-עקביות ברמת האירוע. עם זאת, EMAR-FND עקף גם אותו.

מחקר אבלציה

נערך ניתוח אבלציה שבו הוסרו כל אחד מהמרכיבים בתורו: NIMD לזיהוי זיוף בתמונה, KFAG לגרף הידע, BHEG לגרף האירועים, SMAN להתאמה מרחבית-זמנית ו-MIFM לאגרגציה הרב-גרנולרית. כל הורדה פגעה בביצועים. הסרת ענף זיהוי המניפולציה הורידה את ה-Accuracy ב-2% ואת F1 של חדשות מזויפות ב-4%. ההשפעה הגדולה ביותר נרשמה בהסרת גרף הידע האדפטיבי: Accuracy ירד ב-5% ו-F1 של פייק ניוז ירד בכמעט 5%, מה שמדגיש את החשיבות של ידע חיצוני בסתירת שמועות.

ניתוח ייצוגים ופרשנות

בויזואליזציית t-SNE הייצוגים של EMAR-FND היו קומפקטיים וברורים יותר משל BMR, עם גבולות חדים יותר בין חדשות אמיתיות למזויפות. בנוסף, בניסוי discrimination נבחרו 80 חדשות אמיתיות ו-80 מזויפות ונבנתה מטריצת דמיון קוסינוס. נמצא כי אזור Real-Real היה כהה יותר, כלומר חדשות אמיתיות היו דומות יותר זו לזו, בעוד אזור Fake-Fake היה מפוזר יותר, בהתאם למגוון האסטרטגיות של זיוף. אזורי Real-Fake ו-Fake-Real היו בהירים, דבר המצביע על הפרדה טובה בין המחלקות.

מחקר מקרים ומסקנות

במחקר המקרים הוצגו ארבע דוגמאות מאתגרות: מקרה של טקסט-תמונה עקביים אך תמונה מזויפת; מקרה שנראה עקבי אך סותר ידע חיצוני; מקרה של חוסר התאמה בין ישויות; ומקרה של אי-התאמה בין סוג האירוע בתמונה לטקסט. בכל הדוגמאות המערכת הצביעה על מקור הבעיה ולא רק על הסיווג הסופי.

לסיכום, המחקר מציע מעבר מגילוי "האם זה פייק" לגילוי "למה זה פייק". זהו חידוש משמעותי הן מבחינת ביצועים והן מבחינת הסבריות. מגבלה אפשרית היא מורכבות המערכת ותלות בכמה תת-מודולים חיצוניים ויקרים חישובית. כיוון עתידי שהמחברים מציעים הוא שילוב LLMs כ"מתדיינים" מרובי פרספקטיבות לזיהוי חדשות כזב באמצעות דיבייט.