MIT: שיטה חדשה גורמת למודלי שפה לחשוב חכם יותר על בעיות קשות

לפי דיווח ב‑MIT News, צוות חוקרים מהמכון הטכנולוגי של מסצ'וסטס פיתח שיטה חדשה שמאפשרת למודלי שפה גדולים לחשוב בצורה חכמה ויעילה יותר, במיוחד כאשר הם מתמודדים עם בעיות קשות. המחקר, בהובלת פרופ' נאויד אזיזאן (Navid Azizan), הסטודנט יאנג‑ג'ין פארק (Young‑Jin Park), קריסטיאן גרינוולד (Kristjan Greenewald), קווה אלים (Kaveh Alim) והאו וונג (Hao Wang), מציע מנגנון שמקצה למודל יותר או פחות חישוב בהתאם לרמת הקושי של השאלה והסיכוי שהפתרונות החלקיים יובילו לתשובה נכונה.

בדרך המקובלת היום, הנקראת "inference-time scaling", נותנים למודל השפה תקציב חישוב קבוע: הוא מייצר מספר מסלולי חשיבה, "מחשבה בשרשרת" או פתרונות אפשריים, ואז בוחר את המבטיחים שבהם. לעיתים נעזר המודל במודל נוסף, Process Reward Model) PRM), שמדרג את המסלולים לפי כמה הם נראים מבטיחים. החיסרון הוא שהתקציב הזה קבוע: גם לשאלה פשוטה וגם לבעיה מתמטית מורכבת מוקדש אותו היקף משאבים.

החידוש של צוות MIT הוא גישה שהם מכנים "instance-adaptive scaling". במקום תקציב אחיד, המערכת מחליטה בזמן אמת כמה חישוב להשקיע בכל שאלה. ה‑PRM בוחן בכל צעד את השאלה ואת הפתרונות החלקיים, מעריך את רמת הקושי ואת ההסתברות להצלחה, ומחליט אם להמשיך להעמיק באותם מסלולים, לצמצם אותם, או לעצור ולנסות כיוון אחר. כך בעיות קלות מקבלות פחות חישוב, ובעיות קשות מקבלות יותר.

אחת הבעיות שהתגלו במחקר היא שמודלי PRM קיימים נוטים להיות אופטימיים מדי ולהעריך יתר על המידה את הסיכוי להצלחה. במצב כזה, המערכת "תחסוך" יותר מדי חישוב ותפספס פתרונות טובים. כדי לפתור זאת, פארק והעמיתים פיתחו שיטת כיול אי‑ודאות עבור PRM: במקום ציון בודד, המודל מפיק טווח הסתברויות שמייצג טוב יותר את חוסר הוודאות האמיתי. הכיול הזה מאפשר למערכת לדעת טוב יותר "מה היא לא יודעת" ולפעול בזהירות מתאימה.

בפועל, החוקרים הראו שבסט של משימות חשיבה מתמטיות, השיטה החדשה הצליחה להשיג דיוק דומה לשיטות המקובלות תוך שימוש בכמחצית מכמות החישוב. בנוסף, במקרים מסוימים מודלים קטנים וזולים הצליחו, בעזרת התכנון החכם של התקציב, להגיע לביצועים דומים ואף טובים יותר ממודלים גדולים בהרבה. זהו ממצא משמעותי בתקופה שבה עלות ההפעלה והאנרגיה של מודלי ענק הופכת לגורם מגביל מרכזי.

מעבר לחיסכון במשאבים, למחקר של נאויד אזיזאן וצוותו יש השלכות רחבות יותר: הוא מדגים כיוון שבו מערכות AI מתקרבות לאופן שבו בני אדם פותרים בעיות, תוך התאמת עומק החשיבה למורכבות הסיטואציה. מדובר במחקר מעניין לאור המציאות שבה מודלים גנרטיביים נכנסים לתחומים עתירי סיכון כמו רפואה, פיננסים ומשפט. במקומות אלו חשוב במיוחד שהמערכת תזהה מתי היא לא בטוחה בתשובתה ותשקיע יותר זמן חישוב, או לחלופין תסמן שאין לה ודאות מספקת.

החוקרים מציינים כי שיטת הכיול והקצאת החישוב עשויה להיות מיושמת גם בתחומים נוספים, כמו יצירת קוד, סוכני AI אוטונומיים, חיזוק לימודי (reinforcement learning) ותהליכי fine-tuning. בהקשר רחב יותר של תעשיית ה‑AI, העבודה משתלבת במגמה של "reasoning on demand" – חישוב גמיש לפי הצורך – כמו זו שמוזכרת בגרסאות מתקדמות של מודלים מסחריים דוגמת GPT‑5.1, שבהם מנגנוני reasoning אדפטיביים כבר הופכים לחלק מהמערכת.

המחקר ממומן בין היתר על ידי MIT‑IBM Watson AI Lab, MIT‑Amazon Science Hub, תוכנית MIT‑Google לחדשנות בחישוב וחברת MathWorks, ומשקף שיתוף פעולה הדוק בין האקדמיה לתעשייה במטרה להנגיש מערכות בינה מלאכותית חכמות, חסכוניות ואמינות יותר.