האם יש "רוטב סודי" בפיתוח מודלי שפה גדולים? |
מאת Matthias Mertens · פורסם: · עודכן:
המחקר בוחן האם ההתקדמות במודלי שפה גדולים נובעת מ"רוטב סודי" קנייני של חברות מובילות, או בעיקר מהגדלת כוח החישוב באימון. החוקרים ניתחו נתוני אימון ובנצ'מרקים של 809 מודלים שפורסמו בין 2022 ל-2025, והפעילו רגרסיות מסוג scaling laws עם אפקטים קבועים של זמן ושל מפתח. הממצא המרכזי הוא שבקצה החזית הטכנולוגית, 80%–90% מהבדלי הביצועים מוסברים על ידי יותר compute, כלומר היתרון המרכזי הוא היקף המשאבים ולא טכניקה סודית. עם זאת, מחוץ לחזית, יש משמעות ניכרת ליעילות פיתוח ייחודית לחברות ולשיפור אלגוריתמי כללי, שמפחיתים את כמות החישוב הדרושה כדי להגיע לרמת יכולת נתונה. בנוסף, נמצאה שונות גדולה גם בתוך אותה חברה: שני מודלים של אותה חברה יכולים להיבדל ביותר מפי 40 ביעילות החישובית. המאמר מסיק שהובלה ב-AI תלויה מאוד בגישה למשאבי חישוב, אך יכולות וידע מתפזרים בהדרגה גם דרך שיפורים שיטתיים ביעילות.
יישומי המאמר
המחקר עוזר למנהלים, משקיעים ומקבלי החלטות להבין מאיפה באמת מגיע היתרון בעולם מודלי השפה. המסר הפרקטי הוא שבחזית הביצועים הגבוהה ביותר, מי שמחזיק ביותר תשתיות מחשוב כנראה יוביל, גם בלי "קסם" טכנולוגי יוצא דופן. לכן, עבור ארגונים שבונים או מאמצים LLMs, השקעה ב-compute, גישה לשבבים ותשתיות ענן היא גורם אסטרטגי מרכזי. מצד שני, עבור חברות שלא מתחרות על המקום הראשון בעולם, המחקר מראה שיש ערך גדול ליעילות הנדסית, בחירת ארכיטקטורות, תהליכי אימון טובים ואופטימיזציה — אלה יכולים לאפשר להגיע ליכולות חזקות בעלות נמוכה בהרבה. במילים פשוטות: לא כל ארגון חייב להיות ענק כמו OpenAI או Google כדי להפיק מודלים טובים; לעיתים ניהול חכם של האימון והנדסה טובה יכולים לחסוך משאבים רבים. זה רלוונטי לתכנון תקציבי AI, אסטרטגיית מוצר, רכש ענן, והחלטה אם לפתח מודל פנימי או להסתמך על ספקים חיצוניים.
פירוט המאמר
רקע ושאלת המחקר
המאמר עוסק באחת השאלות המרכזיות בתחום מודלי השפה הגדולים: האם פערי הביצועים בין מפתחות LLM מובילות נובעים מידע קנייני ייחודי — מעין "Secret Sauce" — או בעיקר מכך שחברות מסוימות מסוגלות להשקיע הרבה יותר כוח חישוב באימון. שאלה זו חשובה לא רק מבחינה מדעית, אלא גם עבור מדיניות ציבורית, תחרות עסקית, ריכוזיות טכנולוגית ופיזור היכולות בשוק ה-AI.
החוקרים ממסגרים את הדיון דרך scaling laws — הקשר השיטתי בין היקף משאבי אימון לבין ביצועי מודלים. הם מבקשים להבחין בין שלושה מקורות אפשריים לשיפור: הגדלת compute, שיפורים אלגוריתמיים משותפים לכלל השוק לאורך זמן, ויתרונות ספציפיים של מפתחים מסוימים.
נתונים ומדגם
המחקר מבוסס על מאגר של 809 מודלים שפורסמו בין 2022 ל-2025. עבור מודלים אלה נאספו נתוני אימון ונתוני ביצועים מבנצ'מרקים. תקופת הזמן שנבדקה מכסה את שלב ההתרחבות המהיר ביותר של שוק ה-LLMs, ולכן היא מתאימה במיוחד לניתוח של דפוסי התקדמות, דיפוזיה של ידע, והבדלים בין חברות.
המאמר מדגיש כי השוואת מודלים אינה טריוויאלית, משום שלא כל מודל מאומן באותם תנאים, ולא כל חברה מדווחת את אותם משתנים בדיוק. לכן, השימוש במדגם רחב של מאות מודלים מאפשר לחלץ מגמות כלליות אמינות יותר מאשר הסתמכות על מספר קטן של מודלים ידועים בלבד.
שיטה אמפירית
החוקרים מפעילים רגרסיות scaling-law שבהן הביצועים מוסברים על ידי נתוני האימון, תוך הכללת אפקטים קבועים של תאריך שחרור ושל מפתח. אפקטי הזמן נועדו ללכוד התקדמות כללית באלגוריתמים, שיטות אימון, דאטה-פרוססינג ופרקטיקות הנדסיות שהתפשטו בשוק. אפקטי המפתח נועדו ללכוד יתרונות עקביים של חברות או גופים מסוימים מעבר למה שמוסבר באמצעות compute בלבד.
המסגרת הזו מאפשרת להפריד בין:
- יתרון הנובע ישירות מהשקעת חישוב גדולה יותר,
- התקדמות משותפת של הענף לאורך זמן,
- ויתרונות ספציפיים של חברות מסוימות.
בנוסף, הם בוחנים את ההבדלים לא רק בכלל המדגם אלא גם לפי מיקום במדרג הביצועים: בחזית הטכנולוגית לעומת מודלים שאינם בחזית.
ממצאים מרכזיים: חזית הביצועים
הממצא החשוב ביותר במאמר הוא שבחזית הביצועים, כלומר בקרב המודלים המובילים ביותר, בין 80% ל-90% מהבדלי הביצועים מוסברים על ידי training compute גבוה יותר. זהו ממצא חד וברור: מי שמוביל בקצה העליון של התחום עושה זאת בעיקר משום שהוא מאמן מודלים עם יותר משאבי חישוב.
המשמעות היא שבחלק התחרותי ביותר של שוק ה-LLMs, היכולת הכלכלית והטכנולוגית לממן אימון יקר מאוד היא גורם דומיננטי יותר מאשר נוסחה סודית או טכניקה קניינית חריגה. במילים אחרות, ההובלה בחזית אינה מבוססת בעיקר על טריק אלגוריתמי ייחודי, אלא על scale.
ממצאים מחוץ לחזית: חשיבות היעילות
מחוץ לחזית, התמונה מורכבת יותר. החוקרים מוצאים ששיטות קנייניות והתקדמות אלגוריתמית משותפת מפחיתות בצורה משמעותית את כמות ה-compute הנדרשת כדי להגיע לרמות יכולת נתונות. כלומר, עבור מודלים שאינם בהכרח הטובים ביותר בעולם, יש חשיבות גדולה הרבה יותר ליעילות הנדסית ולשיפורים בשיטות האימון.
בחלק זה של ההתפלגות, חלק מהחברות מצליחות באופן שיטתי לייצר מודלים קטנים יותר, או להגיע לאותן רמות ביצוע עם פחות משאבים. מבחינה עסקית, זהו ממצא חשוב במיוחד, משום שרוב הארגונים אינם מתחרים על מודל ה-state-of-the-art הגלובלי, אלא מחפשים יחס טוב בין עלות, זמן ויכולת.
יתרונות ספציפיים למפתחים
המאמר כן מוצא ראיות ברורות לקיומם של יתרונות יעילות ספציפיים למפתחים מסוימים. כלומר, יש חברות שמצליחות באופן עקבי להפיק יותר מכל יחידת compute, לפחות בחלקים מסוימים של מרחב הביצועים. זה תומך ברעיון שקיימות יכולות הנדסיות, תהליכי אימון, בחירות ארכיטקטוניות או אופטימיזציות שאינן שקופות לגמרי לכלל השוק.
עם זאת, עוצמת היתרונות הללו תלויה ברמת הביצועים הנבחנת. בחזית הם פחות דומיננטיים לעומת compute; מחוץ לחזית הם משמעותיים יותר. לכן, המאמר אינו דוחה לחלוטין את רעיון ה"Secret Sauce", אלא מראה שהוא קיים אך השפעתו מוגבלת ותלויה בהקשר.
שונות בתוך אותה חברה
אחד הממצאים הבולטים והמסקרנים הוא שקיימת שונות גדולה מאוד גם בתוך אותן חברות. החוקרים מדווחים כי חברה אחת יכולה לאמן שני מודלים שנבדלים ביותר מפי 40 ביעילות החישובית. ממצא זה מצביע על כך שגם כאשר חברה מחזיקה ידע, טאלנט ותשתיות מתקדמות, התוצאה בפועל יכולה להשתנות מאוד בין פרויקטים.
המשמעות היא שיעילות אינה תכונה אחידה של החברה כולה, אלא גם של החלטות ספציפיות: יעדי מוצר, אילוצי זמן, בחירת דאטה, ארכיטקטורה, תהליכי כיוונון ושיקולי תכנון. לכן, אין לראות ב"חברה מובילה" גוף שמייצר תמיד מודלים יעילים באותה מידה.
השלכות רחבות
החוקרים דנים בהשלכות על הנהגה טכנולוגית ועל פיזור יכולות AI. אם בחזית compute הוא הכוח המרכזי, אז גישה לשבבים, הון, תשתיות ענן ושרשראות אספקה היא תנאי קריטי להובלה. הדבר עשוי להגביר ריכוזיות אצל חברות ומדינות בעלות משאבים.
עם זאת, מכיוון ששיפורים אלגוריתמיים וידע הנדסי מתפזרים עם הזמן ומפחיתים את דרישות החישוב מחוץ לחזית, יש גם מנגנון של diffusion: שחקנים נוספים יכולים לאמץ שיטות יעילות יותר ולהגיע ליכולות גבוהות בלי להחזיק בתקציבי-עתק. בכך, המחקר מציע תמונה דו-שכבתית: ריכוזיות גבוהה בצמרת, אך דיפוזיה רחבה יותר בשאר השוק.
מסקנות
המאמר מסכם שאין "רוטב סודי" יחיד שמסביר את כל פערי הביצועים ב-LLMs. בחזית התחום, עיקר ההתקדמות מונע על ידי הגדלת כוח החישוב, ולא על ידי יתרון קנייני מסתורי. עם זאת, מחוץ לחזית יש מקום חשוב מאוד ליעילות, לשיטות אימון ולשיפור אלגוריתמי, ולעיתים ניתן להגיע לאותן רמות יכולת עם הרבה פחות משאבים.
לכן, השאלה אינה האם יש או אין Secret Sauce, אלא מתי ועד כמה הוא חשוב. עבור שחקני קצה עולמיים — scale הוא הגורם המכריע. עבור רוב החברות והארגונים — יעילות חכמה יכולה להיות מנוף תחרותי מהותי.
היילייטס
- בקצה החזית של ה-LLMs, עיקר ההבדלים בביצועים מוסברים על ידי compute: המחקר מוצא כי 80%–90% מפערי הביצועים בין מודלים מובילים נובעים מהיקף גדול יותר של כוח חישוב באימון, ולאו דווקא מטכניקות סודיות ייחודיות.
- כן קיימים יתרונות ספציפיים לחברות, אבל חשיבותם תלויה ברמת הביצועים: החוקרים מזהים יתרונות יעילות שיטתיים אצל מפתחים מסוימים, אולם בחזית הטכנולוגית תרומתם קטנה יחסית לעומת scale, בעוד שמחוץ לחזית השפעתם גדלה.
- שיפורים אלגוריתמיים וידע הנדסי מפחיתים את דרישות החישוב מחוץ לחזית: עבור מודלים שאינם state-of-the-art, טכניקות טובות יותר יכולות להקטין משמעותית את כמות ה-compute הדרושה כדי להגיע ליכולת נתונה.
- יש שונות גדולה מאוד גם בתוך אותה חברה: המחקר מדווח על פערים של יותר מפי 40 ביעילות חישובית בין שני מודלים של אותה חברה, מה שמראה שהצלחה אינה נובעת רק מזהות הארגון אלא גם מהחלטות פרויקטליות ספציפיות.
- השלכה אסטרטגית ברורה: הנהגה ב-AI בקצה העליון תלויה מאוד בגישה לשבבים, הון ותשתיות, אך במקביל יכולות AI נוטות להתפזר בהדרגה דרך שיפור יעילות, מה שמאפשר גם לשחקנים קטנים יותר להתקרב לרמות ביצוע שימושיות.
שאלות נפוצות
האם יש באמת "סוד מסחרי" בפיתוח מודלי שפה גדולים, או שהכול תלוי בכמות החישוב?
לפי המחקר, התשובה תלויה במיקום של המודל על פני התפלגות הביצועים. בקדמת החזית הטכנולוגית, 80%–90% מהפערים בביצועים מוסברים על ידי יותר חישוב באימון. כלומר, כאשר בוחנים את המודלים המובילים ביותר, הגורם המרכזי הוא סקייל של compute ולא בהכרח טכניקות קנייניות ייחודיות. עם זאת, מחוץ לחזית, למחקר יש מסר מורכב יותר: יש עדות ברורה ליתרונות יעילות ייחודיים למפתחים מסוימים, וכן להתקדמות אלגוריתמית משותפת שמפחיתה את כמות החישוב הדרושה כדי להגיע לרמות יכולת נתונות.
כיצד כמות החישוב באימון משפיעה על ביצועי LLMs בקצה העליון של השוק?
המחקר מראה שבמודלים שנמצאים בקצה העליון של הביצועים, הגדלת חישוב האימון היא המנוע המרכזי של השיפור. במילים אחרות, ככל שהמודל מאומן עם יותר compute, כך ניתן להסביר חלק גדול מאוד מהשיפור בתוצאות הבנצ'מרקים. הממצא הזה חשוב במיוחד להבנת התחרות בתעשייה: הוא מצביע על כך שהובלה בחזית היכולות נשענת בעיקר על גישה למשאבי חישוב גדולים, ולא רק על ידע פנימי או "טריקים" הנדסיים.
מה ההשפעה של טכניקות קנייניות ויעילות פיתוח על מודלים שאינם בחזית?
כאן המחקר מזהה תרומה משמעותית יותר של "secret sauce". עבור מודלים שאינם בקצה העליון, טכניקות קנייניות והתקדמות אלגוריתמית מאפשרות להגיע לאותן רמות יכולת עם פחות חישוב. בנוסף, המחקר מצא שחלק מהחברות מסוגלות לייצר באופן שיטתי מודלים קטנים יותר ויעילים יותר. המשמעות היא שלא כל שיפור ביכולות מחייב בהכרח הגדלה מסיבית של compute; לעיתים אפשר להשיג יעילות טובה יותר דרך שיטות פיתוח, בחירות אימון או שיפורים אלגוריתמיים.
כיצד החוקרים בדקו אם קיימים יתרונות יעילות ייחודיים למפתחים שונים?
המחקר התבסס על נתוני אימון ובנצ'מרקים של 809 מודלים שפורסמו בין 2022 ל-2025. החוקרים אמידו רגרסיות של חוקי סקיילינג, תוך שילוב של fixed effects עבור תאריך השקה ועבור המפתח. באמצעות גישה זו הם ניסו להפריד בין השפעת החישוב, השפעת הזמן והתקדמות כללית בתחום, לבין יתרונות שיטתיים של מפתחים מסוימים. התוצאה הייתה זיהוי ברור של יתרונות יעילות ספציפיים לחברות או לגופי פיתוח מסוימים, גם לאחר בקרה על גורמים אחרים.
מדוע המחקר מצא שונות גדולה ביעילות גם בתוך אותה חברה?
אחד הממצאים הבולטים הוא שהיעילות אינה קבועה אפילו בתוך אותו ארגון. לפי המחקר, אותה חברה יכולה לאמן שני מודלים עם פער של יותר מפי 40 ביעילות החישובית השיורית. המשמעות היא שיכולת פיתוח אינה מתמצה רק ב"מי החברה", אלא גם בבחירות הספציפיות שנעשו בכל מודל: תכנון האימון, התאמות טכניות, ואולי רמת ההצלחה ביישום שיטות קיימות. זהו ממצא שמחליש את התפיסה שלפיה לכל חברה יש נוסחה אחת סודית ועקבית שמסבירה את כל הישגיה.
מה המשמעות של הממצאים עבור הנהגה טכנולוגית והפצת יכולות AI?
המחקר מציע תמונה כפולה. מצד אחד, אם החזית תלויה בעיקר בכמות חישוב, אז גישה למשאבי compute הופכת לגורם מכריע בהובלה טכנולוגית. מצד שני, מאחר שטכניקות יעילות והתקדמות אלגוריתמית מפחיתות את עלות ההגעה לרמות יכולת מסוימות, יכולות AI עשויות להתפשט רחב יותר גם לגורמים שאינם מחזיקים במשאבי החישוב הגדולים ביותר. לכן, הממצאים מרמזים שהובלה בחזית עשויה להיות מרוכזת יותר, אבל מחוץ לחזית יש פוטנציאל ממשי לדיפוזיה של יכולות בזכות יעילות טובה יותר ושיתוף עקיף של התקדמות טכנית.