קרדיט תמונה: Michael Macor via Getty Images
אנדריי קרפתי עוזב את OpenAI ומצטרף ל-Anthropic
אנדריי קרפתי, אחד ממייסדי OpenAI ואחד החוקרים הבולטים בתחום ה-AI, הצטרף השבוע ל-Anthropic כדי להוביל צוות pre-training חדש. המהלך מסמן את ההתחרות הגוברת על כישרונות בכירים בין חברות הבינה המלאכותית המובילות בעולם, ומעיד על שינוי אסטרטגי של Anthropic: הימור על מחקר מואץ בסיוע Claude, ולא רק על עוצמת חישוב גולמית.
קרפתי בוחר ב-Anthropic: מה המשמעות האמיתית של המהלך
אנדריי קרפתי, אחד הדמויות המוכרות ביותר בעולם מחקר הבינה המלאכותית, הצטרף השבוע ל-Anthropic. קרפתי, שהיה בין מייסדי OpenAI בשנת 2015, לאחר מכן הוביל את תוכנית הנהיגה העצמאית של Tesla וחזר ל-OpenAI לתקופה נוספת עד 2024 - מגיע כעת לחברה שנוסדה בידי בוגרי OpenAI בעצמם.
רוצה להישאר מעודכן ב-AI?
הירשם לדיוור השבועי שלנו וקבל עדכונים, המלצות על כלים, חדשות ודוחות מיוחדים
"הצטרפתי ל-Anthropic. אני חושב שהשנים הקרובות בחזית ה-LLM יהיו מכוננות במיוחד. אני נרגש מאוד להצטרף לצוות ולחזור ל-R&D," כתב קרפתי ב-X ביום שלישי (כפי שפורסם על ידי TechCrunch).
תפקיד בלב הפיתוח: צוות ה-pre-training
קרפתי יעבוד על pre-training תחת הובלתו של ניק ג'וזף, ראש הצוות בתחום זה ב-Anthropic. ה-pre-training הוא השלב שבו מודל כמו Claude רוכש את הידע והיכולות הבסיסיות שלו - תהליך שדורש תשתיות GPU מסיביות ותקציבים של מאות מיליוני דולרים. זהו גם השלב שבו פערים קטנים בגישה המחקרית יכולים להניב יתרונות גדולים בביצועי המודל הסופי.
לפי דובר Anthropic, קרפתי יקים צוות ייעודי שיתמקד בשימוש ב-Claude עצמו כדי להאיץ את מחקר ה-pre-training - גישה המוכרת בשם "AI-assisted research" או "meta-learning". כלומר, המודל יסייע בשיפור הדור הבא של עצמו.
הימור אסטרטגי על כישרון מול חישוב
גיוסו של קרפתי אינו מהלך שגרתי. הוא נמנה עם קומץ החוקרים בעולם שמסוגלים לגשר בין התיאוריה העמוקה של LLM לבין האתגרים המעשיים של אימון בקנה מידה תעשייתי. העובדה ש-Anthropic בחרה להפקיד בידיו את בניית הצוות - ולא רק לשלב אותו בצוות קיים - מעידה על כיוון חשיבה ברור: החברה מאמינה שהדרך להדביק ואולי לעקוף את OpenAI ו-Google אינה רק הגדלה נוספת של תקציבי חישוב, אלא שיפור חכם ומואץ של מתודולוגיית האימון עצמה.
המהלך מתרחש על רקע תחרות עזה על כישרונות בכירים בתעשייה. OpenAI, Google DeepMind, xAI ו-Meta AI כולן מתחרות על מספר מצומצם של חוקרים שמבינים pre-training ברמה הנדרשת לפיתוח מודלים גבוליים.
מה קורה עם Eureka Labs?
לפני הצטרפותו ל-Anthropic, ייסד קרפתי בשנת 2024 את Eureka Labs - סטארטאפ שביקש ליישם עזרי AI בתחום החינוך. אולם מאז ההשקה לא שיתף קרפתי עדכונים משמעותיים על החברה, וגורלה נותר לא ברור. בפוסט שלו הוא ציין כי "נשאר נלהב מאוד מחינוך ומתכנן לחזור לעסוק בו עם הזמן" - ניסוח שמצביע על הפסקה ולא על סיום.
קרפתי ידוע גם בפעילות החינוכית שלו מחוץ לחברות: הוא מלמד קורס מקוון בשם Neural Networks: Zero to Hero ומפרסם באופן סדיר הרצאות על LLM וקורס AI בערוץ YouTube שלו - ערוצים שצברו עשרות אלפי עוקבים בקרב קהל מפתחים.
גיוס נוסף: מומחה אבטחת סייבר לצוות ה-red team
במקביל להצטרפות קרפתי, אישרה Anthropic גיוס של כריס רוהלף לצוות ה-red team שלה - הצוות האחראי לבחינת מודלים מתקדמים מול איומים חמורים. רוהלף הוא ותיק בתעשיית הסייבר עם יותר מ-20 שנות ניסיון, לשעבר ב-Yahoo ו-Meta, ובנוסף שימש כחוקר במרכז לאבטחה וטכנולוגיה מתפתחת של אוניברסיטת ג'ורג'טאון. הגיוס הכפול - מחקר pre-training מחד ואבטחה ובדיקות קיצוניות מאידך - ממחיש את האסטרטגיה הכוללת של Anthropic: להתקדם במהירות ולהישאר בטוחה בו-זמנית.
עבור חברות ישראליות העובדות עם מודלי Claude דרך ה-API של Anthropic, או כאלה המפתחות מוצרים מבוססי frontier models, מדובר בסיגנל חיובי: השקעה מאסיבית ב-pre-training, בידי חוקר מהשורה הראשונה, עשויה לשפר את ביצועי המודלים הבאים בצורה ניכרת - כולל בתחומים כמו עברית, קוד, ומשימות מורכבות הרלוונטיות לשוק המקומי.