אילון מאסק מודה: אימנו את Grok על מודלים של OpenAI
בעדות היסטורית במשפט נגד OpenAI, אישר מאסק כי xAI השתמשה בטכניקת Distillation על מודלים של OpenAI לאימון Grok. ההודאה חושפת פרקטיקה נפוצה בתעשייה שעלולה לערער את היתרון התחרותי של מעבדות הענק, בעוד הן עצמן נלחמות בניסיונות דומים מצד חברות סיניות. האירוניה: חברות שהואשמו בהפרת זכויות יוצרים כועסות כשמעתיקים מהן.
הודאה בבית המשפט שמערערת את התעשייה
בעדות דרמטית בבית משפט פדרלי בקליפורניה ביום חמישי האחרון, הודה אילון מאסק כי חברתו xAI השתמשה בטכניקה שנויה במחלוקת שנקראת Distillation כדי לאמן את מודל הבינה המלאכותית Grok על בסיס מודלים של OpenAI. כאשר נשאל ישירות האם xAI השתמשה בטכניקות אלה על מודלים של OpenAI, מאסק טען שמדובר בפרקטיקה נפוצה בין חברות AI. כשהתבקש להבהיר אם התשובה היא "כן", הוא אמר: "בחלקה".
רוצה להישאר מעודכן ב-AI?
הירשם לדיוור השבועי שלנו וקבל עדכונים, המלצות על כלים, חדשות ודוחות מיוחדים
ההודאה הגיעה במסגרת התביעה שהגיש מאסק נגד OpenAI, מנכ"לה סם אלטמן וגרג ברוקמן, בטענה שהפרו את המשימה המקורית של הארגון כעמותה ללא כוונת רווח בכך שהעבירו אותו למבנה מניב רווחים. המשפט החל השבוע, עם עדותו של מאסק.
מה זה Distillation ולמה זה מאיים על ענקיות הענף
Distillation היא טכניקה שבה חברות מבצעות שאילתות שיטתיות למודלי AI פומביים דרך הצ'אט-בוטים או ה-API שלהם, במטרה להבין את עקרונות הפעולה הפנימיים ולהעתיק את היכולות. התהליך מאפשר ליצור מודלים זולים שכמעט באיכות של המקוריים, מבלי להשקיע מיליארדים בתשתיות חישוב.
הסכנה בטכניקה זו היא שהיא מערערת את היתרון התחרותי שבנו מעבדות הענק באמצעות השקעות עצומות ב-GPU ובתשתיות חישוב. OpenAI ו-Anthropic מובילות לאחרונה מאבק נגד ניסיונות כאלה, במיוחד מצד חברות סיניות שיצרו מודלים פתוחים ברמה כמעט זהה למודלים אמריקאיים במחיר נמוך בהרבה.
אולם בתעשייה הייתה הנחה ברורה שגם חברות אמריקאיות משתמשות בטכניקות אלה זו על זו כדי לא לפגר מאחור. לאחר עדותו של מאסק, לראשונה, יש אישור רשמי.
האירוניה: זכויות יוצרים לעומת Distillation
ישנה אירוניה משמעותית בכך שמעבדות הענק זועמות על העתקה של המודלים שלהן, בעוד הן עצמן הואשמו שוב ושוב בהפרת זכויות יוצרים בכך שאימנו את המודלים שלהן על תכנים מוגנים ללא רשות. ההבדל הוא שלא ברור אם Distillation בהכרח בלתי חוקי, אך הוא עשוי להפר את תנאי השימוש של המוצרים.
לא מפתיע במיוחד ש-xAI, שהוקמה רק ב-2023, שנים אחרי OpenAI, ניסתה ללמוד מהמובילה דאז בתחום. OpenAI, Anthropic וגוגל השיקו לפי דיווחים יוזמה דרך ה-Frontier Model Forum לחלוק מידע על דרכים להילחם בניסיונות Distillation מסין. כדי לעצור את המאמצים, החברות עובדות על מניעת שאילתות חשודות המוניות.
דירוג התעשייה לפי מאסק
בהמשך עדותו, כשנשאל על טענה שהעלה בקיץ האחרון לפיה xAI תעבור בקרוב כל חברה מלבד גוגל, מאסק דירג את ספקיות ה-AI המובילות בעולם: Anthropic במקום הראשון, ואחריה OpenAI, גוגל ומודלים סיניים בקוד פתוח. הוא אפיין את xAI כחברה קטנה בהרבה עם כמה מאות עובדים בלבד.
המשמעות לשוק הישראלי
עבור חברות ישראליות המפתחות מודלי שפה או פתרונות AI, ההודאה הזו חשובה במיוחד. היא מאשרת שגם חברות קטנות יחסית יכולות להשתמש ב-Distillation כדי לצמצם פערים מול ענקיות התחום, אך גם מעלה סיכונים משפטיים. חברות ישראליות המעוניינות לאמן מודלים בעברית עשויות לשקול טכניקות דומות, אך עליהן להיזהר מתביעות אפשריות בגין הפרת תנאי שימוש. במקביל, המאבק הגלובלי נגד העתקת מודלים עשוי להוביל לפיתוח כלי זיהוי מתקדמים שיהיו רלוונטיים גם לשוק המקומי. חשוב לציין, שלמרות שאילון מאסק הודה "חלקית" והעניין עבר בצורה חלקה (כרגע), לא בהכרח יהיה כך במקרה של חברה אחרת שתבחר להשתמש בטכניקה המעוררת שאלות...