למה תקציבי הטוקנים של ארגונים לא יכולים להישאר פתוחים
אחרי שנתיים של מרוץ להטמעת בינה מלאכותית בכל תהליך ארגוני, חברות מגלות שהחשבון מגיע מהר ובסכומים שקשה להצדיק. משבר עלויות הטוקנים חושף את הפער בין הבטחות הפרודוקטיביות לבין הכלכלה האמיתית של מודלי שפה גדולים.
חשבון ה-AI מתחיל להגיע
הדיון סביב בינה מלאכותית ארגונית עובר שינוי חד: מהתלהבות כמעט בלתי מוגבלת סביב אימוץ כלי AI, אל שאלה קרה יותר של החזר השקעה. במאמר שפורסם ב-Towards Data Science, סטפני קירמר מתארת כיצד חברות שעודדו עובדים להשתמש בכלי בינה מלאכותית בכל הזדמנות מגלות כעת כי שימוש אינטנסיבי אינו שקול בהכרח לערך עסקי.
רוצה להישאר מעודכן ב-AI?
הירשם לדיוור השבועי שלנו וקבל עדכונים, המלצות על כלים, חדשות ודוחות מיוחדים
במרכז הסיפור נמצא מושג שהפך במהירות לסמל של התקופה: Tokenmaxxing, כלומר מקסום צריכת טוקנים כמדד עקיף לשימוש ב-AI. כאשר ארגונים קושרים בונוסים, הערכות ביצועים או יעדי צוותים להיקף שימוש בכלי AI, העובדים אכן משתמשים בהם יותר. הבעיה היא שהמדד הזה מודד צריכה, לא תפוקה. במונחים עסקיים, זה דומה למדידת הצלחת מפעל לפי צריכת החשמל שלו במקום לפי איכות המוצרים והרווחיות.
למה קשה כל כך לתקצב טוקנים
בניגוד לתוכנות ארגוניות מסורתיות, שבהן העלות צפויה יחסית ונגזרת ממספר משתמשים או רישיונות, מודלי שפה גדולים עובדים לפי צריכה דינמית. כל שאילתה כוללת טוקני קלט וטוקני פלט, כאשר הפלט עלול להיות ארוך, בלתי צפוי ולעיתים יקר משמעותית מהקלט. אם מוסיפים לכך סוכני AI שמפעילים מודלים אחרים, מריצים ניסיונות חוזרים ומייצרים שרשראות פעולות אוטונומיות, מתקבלת סביבת עלות כמעט סטוכסטית.
המשמעות עבור סמנכ״לי כספים ומנהלי טכנולוגיה היא דרמטית. אי אפשר לבנות תקציב אמין רק לפי מספר עובדים או פרויקטים, משום שהעלות בפועל תלויה במורכבות המשימות, באיכות הפרומפטים, במספר סבבי התיקון, בבחירת המודל ובאופן שבו הכלים משולבים בתהליכי העבודה. גם אם שימוש ב-AI חוסך זמן למהנדס או לאנליסט, החיסכון הזה חייב להימדד מול עלות התשתית, הסיכונים, הבקרה והצורך בתיקון תשובות שגויות.
המשבר העסקי של ספקיות המודלים
כאן מתחבר האתגר הארגוני לאתגר הגדול יותר של תעשיית ה-AI. חברות כמו OpenAI, Anthropic, גוגל ומיקרוסופט השקיעו ומגייסות סכומי עתק מתוך הנחה שצריכת AI תמשיך לצמוח בקצב אקספוננציאלי. אם לקוחות ארגוניים יתחילו להציב תקרות שימוש, לדרוש הצדקה לכל תהליך מבוסס AI או להעביר עומסים למודלים זולים ומקומיים יותר, מודל ההכנסות של ספקיות הענן והמודלים יעמוד תחת לחץ.
זהו רגע מבחן במיוחד עבור חברות שמתכננות הנפקות או גיוסים לפי שווי גבוה מאוד. שוק ההון עשוי לשאול שאלה פשוטה: האם הצמיחה מבוססת על ערך כלכלי בר קיימא, או על תקופה זמנית שבה ארגונים התנסו ללא משמעת תקציבית מספקת. ברגע שהשימוש עובר ממחלקות חדשנות אל תקציבי תפעול אמיתיים, ההתלהבות מפנה מקום למדדים קשיחים יותר.
השלב הבא: ממשל AI ולא רק אימוץ AI
הפתרון אינו נטישת בינה מלאכותית, אלא מעבר לשימוש ממושמע יותר. ארגונים יצטרכו להגדיר באילו תרחישים AI מספק יתרון מוכח, אילו מודלים מתאימים לכל משימה, מהו סף העלות המותר ומהם מנגנוני הבקרה. במקביל, נראה יותר שימוש במודלים קטנים, תשתיות פנימיות, אחסון הקשרים חכם, שמירת תוצאות ושכבות ניתוב שבוחרות בין מודל יקר לזול לפי רמת הסיכון והמורכבות.
הגל הראשון של ה-AI הארגוני נמדד לפי אימוץ. הגל הבא יימדד לפי יעילות כלכלית. מי שלא יבנה משטר ניהול טוקנים, מדדי ROI אמיתיים וארכיטקטורת AI חסכונית, עלול לגלות שהמהפכה הטכנולוגית המבטיחה הפכה לסעיף הוצאה שקשה להסביר בדירקטוריון.