מודיעין מסמכים ארגוני: למה RAG לעסקים צריך פחות וקטורים ויותר הנדסה
מסגרת מעשית לבניית מערכות RAG ארגוניות על מסמכי PDF, עם דגש על ציטוטים, עקיבות, שליטה הנדסית והבנת תחום, במקום הסתמכות עיוורת על מסדי וקטורים, סוכנים ומודלים חזקים יותר.
גל העניין סביב מודלי שפה גדולים הפך את RAG לאחת מארכיטקטורות ה-AI המבוקשות ביותר בארגונים, אך היישום המקובל שלו מפספס את הבעיה המרכזית: לא חסר עוד מודל, אלא חסרה הנדסת מסמכים קפדנית.
מעבר מהדגמה יפה למערכת שאפשר לסמוך עליה
רוצה להישאר מעודכן ב-AI?
הירשם לדיוור השבועי שלנו וקבל עדכונים, המלצות על כלים, חדשות ודוחות מיוחדים
ארגונים צריכים לחשוב על אימוץ גישה שמטרתה לפרק את בניית RAG ארגוני לאבני בניין ברורות. המתכון הנפוץ של חיתוך מסמכים, הטענתם למסד וקטורי, שליפת top-k לפי דמיון קוסינוס ושליחת התוצאה למודל שפה, עובד היטב במצגות אך נכשל לעיתים קרובות בפרודקשן. המשתמשים אינם מקבלים ציטוטים מדויקים, התשובות אינן ניתנות לאימות, והקטעים שנשלפים אינם תמיד רלוונטיים לשאלה העסקית.
RAG ארגוני אינו צריך להיראות כמו חיפוש פתוח באינטרנט. בארגונים רבים יש סוגי מסמכים קבועים, מומחי תחום שמכירים את החומר, שאלות חוזרות וצורך ברור בעקבות ביקורת, רגולציה או סיכון משפטי. במציאות כזו, מערכת טובה צריכה להגביר את יכולת המומחים ולא להחליף אותה בשכבות אוטונומיות עמומות.
ארבע אבני הבניין של RAG ארגוני
צינור עבודה בן ארבעה שלבים: ניתוח מסמכים, ניתוח שאלות, שליפה והפקת תשובה. בניגוד לגישה שבה כל שלב מעביר טקסט חופשי לשלב הבא, שי מדגישה שימוש בנתונים מובנים, טבלאות, מזהים, שדות טיפוסיים וציטוטים ברמת שורה. כך ניתן לשחזר כל תשובה, להבין מדוע עמוד מסוים נשלף, ולבדוק אם המודל נשען על מקור אמיתי או משלים מידע מזיכרון פנימי.
הגישה נשענת על ההבחנה בין RAG אקדמי לבין RAG ארגוני. במאמר המקורי מ-2020 של פטריק לואיס ועמיתיו ב-Facebook AI Research, השליפה נועדה להעשיר את הידע של המודל ולהפחית הזיות. בסביבה ארגונית, היעד מחמיר יותר: כל טענה עובדתית חייבת להיות מעוגנת במסמך שנשלף, והמודל רשאי להשתמש בידע שלו בעיקר לצורכי ניסוח, חילוץ שדות, עמידה בסכמה והסקה מוגבלת על בסיס מקורות מצוטטים.
למה מסד וקטורי אינו תמיד נקודת הפתיחה
מסדי וקטורים אינם צריכים להיות הבסיס האוטומטי לכל מערכת RAG. Embeddings מועילים במקרים של ניסוח עקיף, מילים נרדפות או חיפוש בין שפות, אך הם חלשים בזיהוי שלילה, ערכים מספריים, ראשי תיבות פנימיים ושאלות שבהן יש משמעות גדולה למבנה המסמך. לכן יש להתחיל ממבנה, תוכן עניינים, מילוני מומחים, סיווג מסמכים ושאילתות SQL, ורק לאחר מכן להפעיל חיפוש סמנטי כערוץ משלים.
גישה זו מתיישבת עם ניסיון מצטבר בתעשיות מפוקחות כמו ביטוח, משפטים ופיננסים. שם, תשובה שגויה אינה רק חוויית משתמש גרועה, אלא עלולה להוביל לקנס, מחלוקת חוזית או החזר כספי ללקוח. לכן יש עדיפות למערכות דטרמיניסטיות, מתועדות וניתנות לשחזור על פני סוכנים שמחליטים בעצמם אילו כלים להפעיל ומתי לעצור.
המשמעות למפתחי AI בארגונים
הגישה לא שוללת שימוש במודלי שפה מתקדמים, rerankers או מסדי וקטורים, אלא מבקש להחזיר אותם למקומם הנכון בארכיטקטורה. במקום להוסיף שכבות בכל פעם שהמערכת מפיקה תשובה לא מספקת, יש לבדוק קודם אם המסמך פורק כראוי, אם השאלה הובנה במונחי התחום, אם השליפה ניתנת להסבר ואם הפלט מחויב לסכמה עם ציטוטים.
עבור צוותי AI שבונים מערכות שאלות ותשובות על חוזים, דוחות רגולטוריים, מסמכי ביטוח או מפרטים טכניים, יש לזכור כי RAG אינו קסם של למידת מכונה. הוא שילוב של חיפוש, הנדסת נתונים, ידע תחומי ובקרה. במערכות ארגוניות, זו בדיוק הנקודה שבה ההייפ נגמר וההנדסה מתחילה.