דוח METR: הבינה המלאכותית משתפרת בתכנות, אך מתקשה בשיקול דעת
מאת מערכת זירת AI · פורסם: · עודכן:
ארגון METR עדכן את גרף אופק הזמן המפורסם שלו והוסיף משימות ארוכות ופתוחות. המודלים ממשיכים להשתפר בקצב מעריכי במשימות ניתנות לאימות כמו תכנות, אך עדיין נופלים מבני אדם במשימות שדורשות שיקול דעת. לכך השלכות ישירות על השאלה אם AI יוכל לבצע אוטומטית מחקר ופיתוח של AI.
בקצרה:
- קושי המשימות נקבע לפי הזמן שנדרש לבני אדם להשלים אותן.
- אף מבחן הערכה שתכננו המודלים לא נמצא שימושי מספיק למחקר של METR.
- גם OpenAI מדווחת על ביצועים חלשים יותר במשימות עבודה אמיתיות לעומת אוסף המשימות המקורי של METR.
- משימות השיפוט מעטות, וזמני הביצוע החדשים מבוססים ברובם על הערכות ולא על מדידה בפועל.
ארגון METR, גוף ללא מטרות רווח העוסק בהערכת יכולות של מערכות בינה מלאכותית, פרסם עדכון לאחד הגרפים המצוטטים ביותר בתחום: גרף אופק הזמן. לפי הדוח, חלק מהיכולות של מודלי AI ממשיכות להשתפר בקצב מעריכי. עם זאת, הממצאים מראים שהמודלים חזקים פחות במשימות שדורשות שיקול דעת מאשר בתכנות.
כיצד נמדד אופק הזמן
הגרף המקורי הופץ בהרחבה, אך רבים פירשו אותו באופן שגוי בגלל מורכבות המדדים שעליהם נשען. השיטה של METR מבוססת על אוסף גדול של משימות שבוצעו גם בידי בני אדם. רמת הקושי של כל משימה נקבעת לפי הזמן שנדרש לבודקים האנושיים כדי להשלים אותה, והמודלים מדורגים לפי אורך המשימות שהם מסוגלים לבצע בהצלחה. הגרף המקורי הראה שאורך המשימות שמודלי החזית מסוגלים להשלים מוכפל בכל ארבעה חודשים.
הגרסה המעודכנת מוסיפה משימות חדשות. חלקן ארוכות בהרבה מאלה שהופיעו באוסף המקורי, ואחרות פתוחות יותר. התוספת נוגעת לאחת השאלות המרכזיות בתחום כיום: האם ההתקדמות במשימות שניתן לאמת אוטומטית עוברת גם למשימות שבהן קשה למדוד הצלחה. במשימות ניתנות לאימות, כמו תכנות ומתמטיקה, החוקרים יודעים לאמן רשתות נוירונים באמצעות למידת חיזוק: המודל מנסה שוב ושוב, והמסלולים שהובילו להצלחה מתחזקים. בבחירת כיוון מחקר חדש, לעומת זאת, השיטה הזו קשה הרבה יותר ליישום.
משימות שיפוט: המודלים עדיין מפגרים מאחור
השאלה רגישה במיוחד בימים אלה. בתחילת החודש פרסם METR דוח נוסף, שחלקים רבים ממנו הושחרו, ולפיו ייתכן שבינה מלאכותית מאיצה פי שניים את קצב פיתוח ה-AI ב-Anthropic. הדוח עורר חשש שהחברה, שהשלימה לאחרונה הנפקה מוצלחת במיוחד, עלולה להגיע לשיפור עצמי רקורסיבי מלא: מצב שבו מערכות AI מתכננות את יורשותיהן בלי מעורבות אנושית.
כדי לבחון את הנושא שילבו חוקרי METR באוסף החדש משימות עמומות יותר, שמחייבות שיקול דעת. באחת מהן התבקשו המודלים לתכנן מבחני הערכה חדשים ל-AI, ועובדי הארגון דירגו את התוצאות. אף שהמודלים המתקדמים עולים כיום על כמעט כל אדם בהנדסת תוכנה, אף אחד מהמבחנים שתכננו לא נמצא שימושי מספיק לעבודת המחקר של הארגון. במשימה אחרת התבקשו המודלים לדרג טיעונים פילוסופיים, וגם בה ביצועיהם נפלו מאלה של בני אדם. בדוח עצמו מצוין שעובדי הארגון חלוקים בשאלה עד כמה המשימה הזו רלוונטית לאוטומציה של מחקר ופיתוח.
בכל זאת נרשמה מגמת שיפור. חלק מהמודלים החדשים, ובהם Opus 5.5, מגיעים לביצועים ש-METR מגדיר "מעט מעל הרף" במשימות תכנון ההערכות. התוצרים עדיין אינם שמישים למחקר, אך הם מבטיחים. לפני שנה בלבד כל המודלים דורגו "בבירור מתחת לרף".
מגבלות המדידה והוויכוח על העתיד
בשיחה עם MIT Technology Review בירך סאיאש קאפור, מדען מחשב ופרופסור נכנס באוניברסיטת ברקלי, על הכיוון החדש. "הגענו לנקודה שבה הערכות AI צריכות להיות יצירתיות יותר", אמר. קאפור לא הופתע מהפער: במאמר שפרסם עם עמיתיו באוגוסט מצא שמודלים עדיין אינם מסוגלים לשחזר בכוחות עצמם מחקר אנושי במדעי המחשב. גם OpenAI דיווחה השבוע בבלוג שלה שהמודלים שלה מצליחים פחות במשימות האמיתיות שמטילים עליהם עובדי החברה מאשר במשימות שבאוסף המקורי של METR. לדברי קאפור, "טעם מחקרי", כלומר היכולת לבחור שאלות, השערות וניסויים מבטיחים, יהיה צוואר בקבוק מרכזי. אחרים טוענים שמודלים שאומנו על משימות ניתנות לאימות יצליחו בסופו של דבר גם במשימות פתוחות.
לדוח יש מגבלות ברורות. משימות שיפוט מעטות בלבד נכללו בו, מה שמקשה על חיזוי מגמות. זמני הביצוע במשימות החדשות הם ברובם הערכות ולא מדידה בפועל, משום שתשלום לבני אדם על משימות שאורכות מאות שעות יקר מדי. במשימת הטיעונים הפילוסופיים, אדם אחד דירג את רוב הטיעונים, והמודלים נשפטו לפי מידת ההסכמה איתו.
נג'ונג קים, בלשנית ומדענית מחשב מאוניברסיטת בוסטון, סבורה שהשיפור הנצפה מלמד משהו על הרגע הנוכחי, אך אינה בטוחה כיצד להסיק ממנו לגבי העתיד. מאט פוץ, חבר בצוות הטכני של METR, מודה שקשה במיוחד לכמת משימות מסוג זה, ולהערכתו לא יהיה אפשר לבסס עבורן מגמות נקיות ויציבות כמו במשימות המוגדרות היטב. המסקנה, לפי המומחים, היא שהצעד נכון, אך התשובה לשאלה אם ומתי יגיע מחקר AI אוטומטי לחלוטין עדיין רחוקה.
שאלות נפוצות
מה זה אופק הזמן של METR ואיך הוא מודד יכולות בינה מלאכותית?
אופק הזמן של METR הוא מדד ליכולת של מודלי בינה מלאכותית להשלים משימות, לפי הזמן שנדרש לבני אדם לבצע אותן. הוא אינו מודד כמה זמן המודל עצמו עובד. הגרף המקורי הראה שאורך המשימות שהמודלים המובילים מסוגלים להשלים מוכפל בכל ארבעה חודשים, והעדכון מוסיף משימות ארוכות ופתוחות יותר.
למה בינה מלאכותית מצליחה בתכנות אך מתקשה במשימות שדורשות שיקול דעת?
בתכנות ובמתמטיקה אפשר לאמת תוצאות באופן אוטומטי, ולכן קל יותר לאמן מודלים באמצעות ניסיונות חוזרים וחיזוק הצלחות. במשימות פתוחות, כמו בחירת כיוון מחקר או תכנון מבחני הערכה, קשה יותר להגדיר הצלחה ולמדוד אותה. לפי דוח METR, ההתקדמות במשימות הניתנות לאימות עדיין אינה מתורגמת לביצועים שימושיים באותה מידה במשימות שיפוט.
מה זה למידת חיזוק ואיך היא משפרת מודלי AI?
למידת חיזוק היא שיטת אימון שבה מודל מנסה לבצע משימה שוב ושוב, והמסלולים שמובילים להצלחה מתחזקים. לפי הכתבה, השיטה מתאימה במיוחד למשימות שאפשר לבדוק את תוצאותיהן, כמו תכנות ומתמטיקה. קשה יותר ליישם אותה בבחירת כיוון מחקר חדש, משום שאין דרך פשוטה ואוטומטית לקבוע אם הבחירה מוצלחת.
האם מודלי AI כבר מסוגלים לבצע מחקר באופן עצמאי?
לפי הממצאים המתוארים בכתבה, מודלי AI עדיין אינם מבצעים מחקר עצמאי מלא ברמה הנדרשת. במבחני METR, אף מבחן הערכה שהמודלים תכננו לא נמצא שימושי מספיק לעבודת הארגון. עם זאת, נרשם שיפור לעומת השנה הקודמת. המומחים מדגישים שאין עדיין תשובה ברורה לשאלה אם ומתי יתאפשר מחקר AI אוטומטי לחלוטין.
מה זה טעם מחקרי ולמה הוא חשוב לפיתוח בינה מלאכותית?
טעם מחקרי הוא היכולת לבחור שאלות, השערות וניסויים מבטיחים. זו יכולת שדורשת שיקול דעת, ולא רק פתרון של משימה מוגדרת. לפי סאיאש קאפור, המצוטט בכתבה, היא צפויה להיות צוואר בקבוק מרכזי באוטומציה של מחקר ופיתוח, גם כאשר מודלים משתפרים בתכנות ובמשימות אחרות שקל יותר לבדוק.
מהן המגבלות של דוח METR על יכולות הבינה המלאכותית?
דוח METR כולל מעט משימות שיפוט, ולכן קשה להסיק ממנו מגמות יציבות. זמני הביצוע האנושיים במשימות החדשות מבוססים ברובם על הערכות ולא על מדידה בפועל. בנוסף, במשימת דירוג הטיעונים הפילוסופיים, רוב הטיעונים דורגו בידי אדם אחד, והמודלים נמדדו לפי מידת ההסכמה איתו, דבר שמגביל את פרשנות התוצאות.