זירת AI

Hugging Face מדווחת על סוכני קוד שמצליחים יותר בפחות צעדים

מאת מערכת זירת AI · פורסם: · עודכן:

Hugging Face פרסמה מתכון פתוח לאימון מתאמי LoRA בלמידת חיזוק בתוך מעטפת הסוכן עצמה. על Qwen3.8-27B, המתאמים שיפרו את שיעור ההצלחה במבחני קוד סוכניים בעד 25 נקודות, תוך הפחתה של יותר מחצי בקריאות הכלים. הצוות שחרר גם מתאם-על ממוזג שפועל בשלוש מעטפות.

בקצרה:

  • המעטפת רצה ללא שינוי, ושרת פרוקסי מתעד את הטוקנים לצורך האימון.
  • בסינון הקושי, רק 171 מתוך 442 משימות נפתרו לפעמים ונכנסו לסט המוסמך.
  • במבחן אוטומציה עסקית חיצוני לא נמצא שיפור ברור לעומת מודל הבסיס.
  • פורסמו גם גרסאות GGUF, משימות האימון ומסלולי ההערכה.

מה הבעיה שמתאמי המעטפת פותרים

מודלי שפה מאומנים לביצועים כלליים, ולא למעטפת הסוכן (harness) הספציפית שבה מפתחים מריצים אותם בפועל או למשימות הייחודיות להם. לטענת צוות Hugging Face, השילוב בין מודל כללי למעטפת מסוימת משאיר על השולחן גם דיוק וגם יעילות. הפתרון שהצוות מציג: מתאם LoRA קטן, שמאומן בלמידת חיזוק בתוך המעטפת עצמה, בעוד משקלי המודל המקורי נשארים קפואים.

בפרויקט הנוכחי אומן מתאם נפרד עבור Qwen3.8-27B לכל אחת משלוש מעטפות: Pi, OpenCode ו-Hermes Agent. בניגוד לרוב מסגרות למידת החיזוק, שמממשות מחדש את לולאת הסוכן בממשק משלהן, כאן המעטפת רצה בדיוק כפי שהיא מופצת, ושרת פרוקסי בינה לבין vLLM מתעד את הטוקנים שהמודל הפיק לצורך האימון. האימון התבצע באמצעות AsyncGRPOTrainer של ספריית TRL, שאינו ממתין לסיום כל ההרצות לפני צעד האופטימיזציה הבא, יחד עם OpenEnv ו-Harbor.

איך נבנה מערך המשימות

חלק מרכזי בעבודה הוא צינור הנתונים. הצוות שילב שלושה מקורות: SWE-smith, שמזריק באגים למאגרי Python ו-Go אמיתיים; SWE-Gym, שהופך תקלות אמיתיות מ-GitHub ותיקוניהן למשימות; ו-Tasksmith, כלי שמייצר משימות מבקשות מיזוג שאושרו. כל משימה עברה בדיקות תקינות, למשל שהפתרון המקורי מקבל ציון מלא ושאי-עשייה מקבלת ציון נמוך בבירור. מתוך 1,127 מועמדות, 858 עברו את הבדיקה, והתהליך אף חשף מאמת שגוי במבחן הביצועים Terminal-Bench 2.1 עצמו, שקיבל תשובות שגויות.

שלב נוסף סינן משימות לפי רמת קושי: מכיוון שאלגוריתם GRPO משווה בין ניסיונות על אותה משימה, משימה שהמודל תמיד פותר או לעולם לא פותר אינה מלמדת דבר. מתוך 442 משימות שנבדקו, רק 171 נפתרו לפעמים ונכנסו לסט המוסמך. מערך הנתונים הסופי כולל 871 משימות מ-35 מאגרים. כל מתאם אומן על שני שבבי B200 של Nvidia, ובסך הכול בוצעו 598 צעדי אימון על 167 מיליון טוקנים. הכלי safeagents בדק 1.3 מיליון קריאות כלים במהלך האימון וחסם 647 מהן.

תוצאות: יותר משימות נפתרות בפחות צעדים

כל שלושת המתאמים עקפו את מודל הבסיס במעטפת שלהם בשני מבחני ביצועים. ב-51 המשימות הקשות של SWE-bench Pro, המתאם של Pi הקפיץ את שיעור ההצלחה מ-39.2% ל-64.7%, Hermes עלה מ-29.4% ל-43.1% ו-OpenCode מ-35.3% ל-51.0%. ב-Terminal-Bench 2.1 נרשם שיפור של 16.3 נקודות ב-Pi ו-14.1 נקודות ב-Hermes. במשימות שגם מודל הבסיס פתר, המתאמים השתמשו ב-53%-72% פחות קריאות כלים.

שיעור הצלחה ב-SWE-bench Pro יחידה: % מקור: Hugging Face סדרות: מודל הבסיס | מתאם ייעודי Pi: 39.2% – 64.7% Hermes: 29.4% – 43.1% OpenCode: 35.3% – 51.0%

הצוות גם מיזג את שלושת המתאמים ל"מתאם-על" אחד, שפועל ללא שינוי בכל שלוש המעטפות. משקל של חצי לכל עדכון נמצא כמאוזן ביותר. ללא מצב חשיבה, מתאם-העל העלה את הממוצע מ-39.5% ל-49.0%. במצב חשיבה, למרות שלא אומן בו כלל, הוא הגיע לממוצע של 63.5% לעומת 55.5% במודל הבסיס. עם זאת, מי שמשתמש במעטפת אחת בלבד ללא מצב חשיבה ייטיב לבחור במתאם הייעודי. מתאם שאומן ב-Pi שמר על רוב השיפור גם במעטפות האחרות.

מגבלות ושאלות פתוחות

במבחן חיצוני של 300 משימות אוטומציה עסקית ב-AutomationBench, עם לולאת סוכן שונה, המתאמים נשארו קרובים למודל הבסיס, וההבדלים היו בטווח הרעש. כלומר, האימון אינו משפר בבירור ביצועים בתחומים רחוקים, אך גם אינו פוגע בהם. החוקרים מציינים גם שהמשקל של מתאם-העל נבחר על סמך Terminal-Bench, ולכן התוצאות בו אופטימיות מעט.

ממצא מעניין נוסף: בבחינת המסלולים התברר שהמודל המאומן, במצב ללא חשיבה, מפיק טקסט קצר לפני קריאה לכלי, מעין "דליפת היסק" שבה הוא עוקף את מגבלת מצב החשיבה. לדברי הצוות, הדבר אינו פוסל את התוצאות, שנמדדו בתקציב טוקנים קבוע, אך מחייב מחקר המשך על מודלים היברידיים. כל הרכיבים, כולל המתאמים, גרסאות GGUF, משימות האימון ומסלולי ההערכה, פורסמו בקוד פתוח.

שאלות נפוצות

מה זה מתאם LoRA למעטפת סוכן קוד?

מתאם LoRA הוא רכיב קטן שמאפשר להתאים מודל שפה למשימות ולסביבת עבודה מסוימות, בלי לשנות את משקלי המודל המקורי. בפרויקט של Hugging Face, המתאמים אומנו בלמידת חיזוק בתוך מעטפת הסוכן, כלומר סביבת ההרצה שמנהלת את פעולותיו. כך הותאם Qwen3.8-27B בנפרד למעטפות Pi, OpenCode ו-Hermes Agent.

איך מאמנים סוכן קוד לעבוד טוב יותר במעטפת שלו?

בשיטה שהוצגה, מאמנים מתאם נפרד כשהסוכן פועל בתוך המעטפת המקורית, במקום לשחזר אותה במסגרת אימון אחרת. האימון מבוסס על משימות תיקון קוד ממאגרים אמיתיים, שעברו בדיקות תקינות וסינון קושי. אלגוריתם GRPO משווה בין ניסיונות שונים באותה משימה, ולכן נבחרות משימות שהמודל מצליח לפתור רק בחלק מהניסיונות.

בכמה מתאמי LoRA שיפרו את ביצועי סוכני הקוד?

ב-51 המשימות הקשות של SWE-bench Pro, שיעור ההצלחה ב-Pi עלה מ-39.2% ל-64.7%, ב-Hermes מ-29.4% ל-43.1%, וב-OpenCode מ-35.3% ל-51.0%. כל שלושת המתאמים שיפרו ביצועים גם ב-Terminal-Bench 2.1. במשימות שגם מודל הבסיס פתר, הם השתמשו ב-53%–72% פחות קריאות כלים, כך שהשיפור התבטא גם ביעילות ולא רק בשיעור ההצלחה.

מה ההבדל בין מתאם ייעודי למעטפת לבין מתאם-העל?

מתאם ייעודי מאומן עבור מעטפת סוכן אחת, ואילו מתאם-העל נוצר ממיזוג שלושת המתאמים ופועל ללא שינוי בכל שלוש המעטפות. ללא מצב חשיבה, מתאם-העל העלה את ממוצע ההצלחה מ-39.5% ל-49.0%; במצב חשיבה, מ-55.5% ל-63.5%. לפי הממצאים, למשתמשים במעטפת אחת בלבד ללא מצב חשיבה עדיף לבחור במתאם הייעודי.

האם השיפור בסוכני הקוד חל גם על משימות שאינן תכנות?

לא הוכח שיפור ברור בתחומים רחוקים מתכנות. במבחן AutomationBench, שכלל 300 משימות אוטומציה עסקית ולולאת סוכן שונה, המתאמים הציגו תוצאות קרובות למודל הבסיס, וההבדלים היו בטווח הרעש. בנוסף, משקל מתאם-העל נבחר לפי Terminal-Bench, ולכן התוצאות בו עשויות להיות מעט אופטימיות ואינן מבטיחות שיפור דומה בכל סביבה.

כתבות קשורות