זירת AI

דוח טכני של AutoFyn: איטרציית מומחים לא־פרמטרית עבור סוכנים לטווח־ארוך

מאת Adib Hasan, Daniel Schaffield, Akashnil Dutta, Tarik Adnan Moon · פורסם: · עודכן:

המאמר מציג את AutoFyn, תשתית לבניית סוכני AI המסוגלים להתמודד עם משימות ארוכות ומורכבות באמצעות איטרציות חוזרות של תכנון, ביצוע, בדיקה ושיפור. במקום לעדכן את משקלי המודל או לבצע אימון מחדש, AutoFyn שומר ומעדכן מצב מתמשך הכולל זיכרון, דוחות, תוצרי עבודה ומידע מאומת. בכל סבב נפתח מפגש חדש עם מודל קפוא; מתזמר מרכזי מייצר חלופות בעזרת סוכנים מתמחים, ואימות ממוקד-משימה בודק את איכותן ומפיק אות תגמול אובייקטיבי. אות זה נטמע במצב המתמשך ומשפיע על המדיניות בסבבים הבאים. המחברים מדגימים את השיטה בשלושה תחומים: מתמטיקה אולימפית, מדעי הנתונים ואבטחת מידע. לפי הדיווח, בכל שש בעיות חדשות מאולימפיאדת המתמטיקה הבינלאומית 2026, מודלים עם מרחב לשיפור השתפרו תחת AutoFyn ביחס לסוכני הקוד של הספקים שלהם. בנוסף, המערכת דורגה ראשונה ב-Spider 2.0 ובנתה 16 התרעות חולשה שאושרו על ידי מתחזקי פרויקטים. המאמר הוא דוח טכני והטענות דורשות אימות עצמאי.

יישומי המאמר

המחקר מציע דרך להפוך מודלי AI קיימים לסוכנים יעילים יותר במשימות ממושכות, בלי לאמן מחדש את המודל ובלי לשנות את המשקלים שלו. AutoFyn מאפשרת למערכת ללמוד מהצלחות ומכישלונות לאורך סדרה של ניסיונות, באמצעות זיכרון חיצוני, דוחות, מאגרי ידע ותוצאות בדיקה. מבחינה עסקית, המשמעות היא שניתן לבנות מערכות שמפתחות בהדרגה תהליכי עבודה טובים יותר עבור ניתוח נתונים, כתיבת קוד, אבטחת מידע, מחקר או פתרון בעיות מורכבות. מנגנון האימות חשוב במיוחד: במקום להסתמך רק על הערכה סובייקטיבית של מודל שפה, המערכת משתמשת בבודק שמבוסס על דרישות המשימה ומפיק מדד התקדמות אובייקטיבי יותר. עם זאת, מדובר בדוח טכני ב-arXiv ולא במאמר שעבר בהכרח ביקורת עמיתים, ולכן יש להתייחס לתוצאות כהדגמות מבטיחות ולא כהוכחה סופית לעליונות כללית.

פירוט המאמר

מטרת המחקר והרקע

המאמר מציג את AutoFyn כמסגרת לסוכנים אוטונומיים המתמודדים עם משימות ארוכות-טווח. נקודת המוצא היא שמודלי שפה גדולים מסוגלים לייצר פתרונות טובים, אך מתקשים לשמור ידע לאורך זמן, ללמוד מתוצאות קודמות ולנהל תהליכים הכוללים שלבים רבים. אימון מחדש או עדכון משקלי המודל עשויים להיות יקרים, איטיים ולא מתאימים לסביבת עבודה משתנה. AutoFyn מבקשת לפתור את הבעיה באמצעות עדכון של מצב חיצוני ומתמשך, ולא באמצעות שינוי המודל עצמו.

עקרון הפעולה של AutoFyn

המערכת פועלת בסבבים חוזרים. כל סבב מתחיל במפגש חדש עם מודל קפוא, ללא הסתמכות ישירה על היסטוריית השיחה המלאה. מידע שנמצא חשוב להמשך העבודה מוחזר למערכת דרך ממשקים מפורשים, כגון קובצי זיכרון, דוחות, מאגרי תוצרים ומצב מאוחסן. כך נוצרת הפרדה בין יכולות היסוד של המודל לבין תהליך הלמידה המצטבר של הסוכן.

בתוך כל סבב פועל מתזמר שמרחיב את מרחב הפתרונות: הוא חוקר את הבעיה, מתכנן מהלכים ומייצר חלופות רבות בעזרת סוכנים מתמחים. כל סוכן יכול להתמקד בתפקיד אחר, למשל ניתוח, כתיבת קוד, חיפוש, בדיקה או ביקורת. לאחר מכן בודק ממוקד-משימה מעריך את התוצרים. הבודק אינו מסתפק בשאלה אם התשובה נראית סבירה, אלא משתמש בקריטריונים הקשורים ישירות למטרה ומפיק אות תגמול המייצג את מידת ההתקדמות.

מצב מתמשך ואיטרציית מומחים

אות התגמול עובר עיבוד ונקלט במצב המתמשך של AutoFyn. מצב זה עשוי לכלול זיכרונות, דוחות, תוצרים, החלטות קודמות ומידע על אסטרטגיות שהצליחו או נכשלו. בסבב הבא המערכת משתמשת במידע זה כדי לעדכן את המדיניות האפקטיבית שלה: אילו מסלולים לחקור, אילו סוכנים להפעיל ואילו תוצרים להעדיף. זהו תהליך של “איטרציית מומחים” שאינו דורש פרמטריזציה חדשה של המודל.

תחומי הדגמה

המחברים מדגימים את AutoFyn בשלושה תחומים: מתמטיקה אולימפית, מדעי הנתונים ואבטחת מידע. במתמטיקה נבחנה המערכת על שש בעיות חדשות מתוך בעיות ה-Fresh של האולימפיאדה הבינלאומית למתמטיקה 2026. לפי הדוח, כל מודל שהיה לו מרחב לשיפור השיג ציון גבוה יותר תחת AutoFyn מאשר תחת סוכן הקוד שסופק על ידי יצרן המודל.

במדעי הנתונים מדווחת המערכת על בניית הסוכן המדורג ראשון במדד Spider 2.0, המתמקד במשימות מורכבות של עבודה עם מסדי נתונים וניתוח נתונים. הישג זה מוצג כהדגמה ליכולת של AutoFyn לשלב תכנון, הפעלת כלים, כתיבת קוד ובדיקת תוצרים לאורך מספר סבבים.

אבטחת מידע ותוצרים מעשיים

בתחום הסייבר, AutoFyn שימשה לאיתור חולשות בפרויקטי תוכנה. המחברים מדווחים על 16 התרעות חולשה שאושרו על ידי מתחזקי הפרויקטים. ההתרעות קשורות לפרויקטים ולכלים שונים, ובהם Next.js, MetaMask, pnpm, Warp, LiteLLM, Langflow ו-Open WebUI. ממצא זה מדגים את הערך של תהליך חיפוש איטרטיבי, שבו הסוכן מייצר השערות, בודק אותן, לומד מהמשוב וממקד את החיפוש בסבבים הבאים.

מסקנות ומגבלות

המאמר טוען כי למידה דרך מצב חיצוני, זיכרון ואימות יכולה להרחיב את היכולות המעשיות של מודלים קפואים, במיוחד במשימות ארוכות הדורשות התמדה, חלופות רבות ובקרת איכות. התרומה המרכזית היא מסגרת ארכיטקטונית המשלבת מתזמר, סוכנים מתמחים, בודק אובייקטיבי וממשקי מצב מתמשך.

עם זאת, הדוח אינו מספק בתקציר את מלוא פרטי הניסוי, כגון גודל המדגמים, הגדרות הבסיס, עלויות חישוב, סטיות תקן או השוואות מלאות לכל שיטת ביקורת. בנוסף, תוצאות על שש בעיות בלבד אינן מספיקות כדי להסיק על הכללה רחבה במתמטיקה. לכן יש לראות ב-AutoFyn ככיוון מחקרי והנדסי מבטיח, המחייב שכפול עצמאי, הערכה על מגוון משימות ובחינה שיטתית של עלות, אמינות ועמידות בפני טעויות אימות.

היילייטס

  • למידה ללא שינוי משקלים: AutoFyn משפרת סוכנים באמצעות מצב מתמשך, זיכרון, דוחות ואימות, במקום אימון מחדש או עדכון פרמטרי המודל.
  • לולאת עבודה רב-שלבית: מתזמר מייצר חלופות עם סוכנים מתמחים, ובודק ממוקד-משימה מפיק אות תגמול אובייקטיבי שמנחה את הסבב הבא.
  • הדגמה במתמטיקה: בשש בעיות חדשות מאולימפיאדת המתמטיקה הבינלאומית 2026, כל מודל שהיה מסוגל להשתפר קיבל ציון גבוה יותר תחת AutoFyn מאשר תחת סוכן הקוד של הספק.
  • ביצועים במדעי הנתונים: המחברים מדווחים על בניית הסוכן המדורג ראשון במדד Spider 2.0.
  • תוצרי אבטחה: המערכת הפיקה 16 התרעות חולשה שאושרו על ידי מתחזקי פרויקטים, כולל בפרויקטים כמו Next.js, MetaMask, pnpm ו-Langflow.

שאלות נפוצות

מהו AutoFyn, וכיצד הוא משפר סוכני AI למשימות ארוכות־טווח?

AutoFyn הוא מנגנון לסוכנים אוטונומיים בהשראת Expert Iteration, שנועד לשפר ביצועים לאורך סבבים רבים בלי לעדכן את משקלי המודל עצמו. במקום לאמן מחדש את המודל, המערכת מתחילה בכל סבב מסשן חדש של מודל “קפוא”, ומעבירה קדימה רק מצב מתמשך שנבנה מאותות תגמול מאומתים. לפי התקציר, המידע המתמשך נשמר דרך ממשקים מפורשים כמו קובצי זיכרון, דוחות ומצב ריפוזיטורי. בתוך כל סבב, מתזמר מרכזי בוחן כמה כיווני פתרון בעזרת סוכנים מתמחים, ולאחר מכן מאמת מבוסס־משימה בודק את התוצרים ומספק תגמול אובייקטיבי. התגמול הזה “מזוקק” בחזרה אל המצב המתמשך, וכך משתפרת המדיניות האפקטיבית של הסוכן בסבב הבא.

למה חשוב לשפר סוכן בלי לעדכן את משקלי המודל?

החידוש המרכזי במחקר הוא שיפור סוכן באמצעות עדכון מצב מתמשך ולא באמצעות שינוי פרמטרי המודל. המשמעות היא שניתן לבנות תהליך שיפור איטרטיבי גם כאשר המודל הבסיסי נשאר קבוע. לפי התיאור, כל סבב מתחיל מחדש ממודל טרי, כך שהידע העמיד אינו “חבוי” בתוך המשקלים אלא עובר דרך ממשקים גלויים ומבוקרים. גישה זו חשובה במיוחד לסוכנים ארוכי־טווח, משום שהיא מאפשרת לצבור ניסיון, תובנות ותהליכי עבודה בצורה ניתנת לאימות ולבקרה, תוך הישענות על אותות תגמול מאומתים ולא על התאמות פנימיות לא שקופות במודל.

כיצד פועל מנגנון האימות והתגמול ב-AutoFyn?

בכל סבב של AutoFyn פועל מתזמר שבוחן, מתכנן ובונה כמה גישות חלופיות לפתרון בעזרת סוכנים ייעודיים. לאחר מכן נכנס לפעולה מאמת מבוסס־משימה, שתפקידו לבדוק את איכות העבודה ולספק תגמול אובייקטיבי למדידת ההתקדמות. היבט מהותי כאן הוא שהתגמול אינו נשאר תוצאה נקודתית של סבב יחיד. לפי המחקר, הוא מוזן בחזרה למצב המתמשך של המערכת, ובכך מעדכן את המדיניות המעשית שתנחה את הסבב הבא. זהו מנגנון למידה איטרטיבי שאינו תלוי בעדכון פרמטרים, אלא בשיפור מתמשך של הזיכרון, ההנחיות והמצב האופרטיבי של הסוכן.

מהי ההשפעה של AutoFyn על ביצועים במתמטיקה, מדעי הנתונים וסייבר?

הדוח הטכני מדגים את השימוש ב-AutoFyn בשלושה תחומים: מתמטיקה אולימפית, מדעי הנתונים ואבטחת סייבר. לפי התקציר, בשש בעיות חדשות של האולימפיאדה הבין־לאומית למתמטיקה 2026, כל מודל שהיה לו מקום להשתפר השיג תחת AutoFyn ציונים גבוהים יותר מאשר תחת סוכן הקידוד הייעודי של ספק המודל. בנוסף, נכתב כי AutoFyn בנה את הסוכן המדורג ראשון בבנצ'מרק Spider 2.0 dbt, והפיק 16 דיווחי פגיעות שאושרו בידי מתחזקים בפרויקטים כמו Next.js, MetaMask, pnpm, Warp, LiteLLM, Langflow ו-Open WebUI. כלומר, השפעתו אינה תיאורטית בלבד, אלא נמדדת גם בפתרון בעיות מתמטיות, גם במשימות נתונים, וגם במציאת חולשות אבטחה בעולם האמיתי.

כיצד AutoFyn שונה מגישות רגילות של סוכן קידוד או מודל יחיד?

לפי התקציר, AutoFyn אינו מסתמך על סשן בודד של מודל שפועל לבדו, וגם לא על סוכן יחיד שמנסה לפתור בעיה במסלול אחד. במקום זאת, הוא מפעיל לולאה רב־סבבית שבה כל סבב נפתח מחדש, ובתוכו מתזמר מרכזי בוחן כמה אסטרטגיות באמצעות סוכנים מתמחים. ההבדל המהותי הוא שהשיפור המצטבר נשמר מחוץ למשקלי המודל: בזיכרון מתמשך, בדוחות ובמצב הריפוזיטורי. כך, AutoFyn ממיר ניסיון מאומת למדיניות טובה יותר בסבבים הבאים. המחקר מציג בכך ארכיטקטורה של סוכן שמשתפר לאורך זמן דרך תהליך חיצוני, מפורש וניתן לאימות, ולא רק דרך היכולות הראשוניות של מודל יחיד.

מה יכולים חוקרי AI וסוכנים אוטונומיים ללמוד מהמתודולוגיה של AutoFyn?

התרומה המחקרית המרכזית היא פורמליזציה של לולאת שיפור לא־פרמטרית עבור סוכנים ארוכי־טווח. המחברים מתארים במפורש את המצב המתמשך ואת ממשקי האימות, ובכך מציעים מסגרת שבה סוכן יכול להשתפר דרך זיכרון עמיד, בחינת חלופות ותגמול מאומת. עבור חוקרים, המשמעות היא מסלול ברור לבניית סוכנים שלא רק “מריצים מודל”, אלא גם צוברים ניסיון בצורה מבוקרת בין סבבים. עבור תחום הסוכנים האוטונומיים, זה מצביע על כיוון שבו שיפור ביצועים יכול להגיע מארגון טוב יותר של זיכרון, אימות ותזמור — ולא בהכרח מהגדלת המודל או מאימון נוסף של משקלים.

מחקרים קשורים