קרדיט תמונה: Zirat AI / AI
מעבדת AI הודית משיקה מודלים פתוחים בהימור על קוד פתוח מול ענקיות אמריקה וסין
Sarvam, סטארטאפ בינוי המודלים ההודי, השיקה דור חדש של מודלי שפה גדולים עם 30 ו-105 מיליארד פרמטרים, המאומנים מאפס עבור שפות הודיות. המהלך, שמגובה על ידי תוכנית AI ממשלתית הודית, מנסה להוכיח שמודלים קטנים ויעילים יכולים להתחרות בענקיות כמו OpenAI וגוגל בשוק המקומי, תוך הסתמכות על ארכיטקטורת mixture-of-experts לצמצום עלויות חישוב.
Sarvam משקיעה בקוד פתוח להתמודדות עם ענקיות AI
הסטארטאפ ההודי Sarvam השיק השבוע סדרה חדשה של מודלי בינה מלאכותית, בצעד שמשקף את הניסיון ההודי להפחית תלות בפלטפורמות AI זרות ולפתח יכולות מקומיות מותאמות לשפות ומקרי שימוש אזוריים. ההשקה, שהוכרזה בוועידת India AI Impact Summit בניו דלהי, כוללת מודלים עם 30 ו-105 מיליארד פרמטרים, לצד מודלים נוספים להמרת טקסט לדיבור, דיבור לטקסט וניתוח מסמכים ויזואליים (כפי שפורסם ב-TechCrunch על ידי Jagmeet Singh).
קפיצת מדרגה מהגרסה הקודמת
המודלים החדשים מסמנים שדרוג משמעותי לעומת מודל Sarvam 1 בן 2 מיליארד הפרמטרים שהושק באוקטובר 2024. החברה בחרה באסטרטגיה של mixture-of-experts, ארכיטקטורה שמפעילה רק חלק מהפרמטרים בכל נקודת זמן, מה שמוביל לצמצום דרמטי בעלויות חישוב. המודל בן 30 מיליארד הפרמטרים תומך בחלון הקשר של 32,000 טוקנים המיועד לשימוש בשיחות בזמן אמת, בעוד המודל הגדול מציע חלון של 128,000 טוקנים למשימות חשיבה מורכבות ורב-שלביות.
על פי נתוני החברה, המודל בן 30 מיליארד הפרמטרים אומן מאפס על כ-16 טריליון טוקנים של טקסט, בעוד המודל הגדול אומן על טריליוני טוקנים המשתרעים על פני מספר שפות הודיות. זאת בניגוד לגישה של כוונון עדין של מודלי קוד פתוח קיימים, מה שמאפשר לחברה שליטה מלאה על הארכיטקטורה והנתונים.
תמיכה ממשלתית והימור לאומי
האימון בוצע באמצעות משאבי חישוב שסופקו במסגרת IndiaAI Mission, יוזמה ממשלתית שמטרתה לבנות תשתית AI מקומית, בתמיכת מפעילת מרכזי הנתונים Yotta ותמיכה טכנית של Nvidia. המהלך משקף מגמה רחבה יותר בהודו להפחית תלות בפלטפורמות אמריקאיות וסיניות ולפתח חלופות מקומיות.
פרטיוש קומאר, שותף מייסד ב-Sarvam, הדגיש בעת ההשקה: "אנחנו רוצים להיות מודעים לאופן שבו אנחנו מבצעים את ההרחבה. אנחנו לא רוצים להרחיב באופן עיוור, אלא להבין את המשימות שבאמת משנות בקנה מידה ולבנות עבורן".
החברה תכננה לשחרר את המודלים כקוד פתוח, אם כי טרם הבהירה אם נתוני האימון או קוד האימון המלא יפורסמו גם הם. בנוסף, Sarvam מתכננת לפתח מערכות AI מיוחדות, כולל מודלים ממוקדי קוד וכלים ארגוניים תחת מוצר הנקרא Sarvam for Work, ופלטפורמת סוכני AI שיחתיים בשם Samvaad.
השלכות עבור השוק המקומי
עבור חברות ישראליות ומפתחים מקומיים, ההתפתחות מעניינת בכמה מישורים. ראשית, היא מדגימה מודל עסקי שבו מדינות בינוניות יכולות לפתח יכולות AI מקומיות בתמיכה ממשלתית, במקום להסתמך רק על ענקיות זרות. שנית, הגישה של מודלים קטנים ויעילים יותר מתאימה לארגונים שצריכים פתרונות ברי הרצה עם עלויות נמוכות יותר, במיוחד בשוק שבו שירותי cloud computing יקרים.
במיוחד מעניין הפוקוס על יכולות דיבור וטקסט בשפות מקומיות - גישה שיכולה להיות רלוונטית גם עבור פיתוח מודלים המותאמים לעברית ולערבית, שפות שבהן כיסוי המודלים הגלובליים עדיין מוגבל.
Sarvam, שנוסדה ב-2023, גייסה למעלה מ-50 מיליון דולר ממשקיעים כמו Lightspeed Venture Partners, Khosla Ventures ו-Peak XV Partners (לשעבר Sequoia Capital India). ההימור שלה על קוד פתוח ועל מודלים מותאמים אזורית יבחן את השאלה האם ישנו מרחב תחרותי משמעותי מחוץ למעגל הצר של ענקיות ה-AI האמריקאיות.