זירת AI

AWS משיקה ניתוב בקשות למודלים בין אזורי ענן לניצול שבבים פנויים

מאת מערכת זירת AI · פורסם: · עודכן:

AWS משיקה את Global Inference Gateway ב-SageMaker HyperPod: נקודת קצה מנוהלת אחת שמנתבת בקשות הסקה בין אשכולות GPU באזורי ענן שונים. השער בוחר אשכול לפי עומס, קרבה ושיעור שגיאות, ומעביר תעבורה אוטומטית כשאשכול כושל. המטרה היא לנצל מעבדים גרפיים שעומדים ללא שימוש ולחסוך לארגונים בנייה של תשתית ניתוב עצמאית.

בקצרה:

  • בקשה שנכשלה מנוסה באשכול אחר, אלא אם כבר החלה להזרים תשובה.
  • הגישה לאשכולות עוברת דרך AWS PrivateLink; לפי AWS, הפרומפטים והתשובות אינם נשמרים בשער.
  • מאזן עומסים של אשכול שפורסם ממשיך לצבור חיובים גם אם האשכול לא שויך לשער.
  • השירות זמין ב-13 אזורים של AWS.

AWS השיקה את Global Inference Gateway, רכיב חדש בשירות Amazon SageMaker HyperPod. השער מאפשר לנתב בקשות הסקה בין כמה אשכולות GPU, באותו אזור ענן או בין אזורים שונים, דרך נקודת קצה אחת שהחברה מנהלת. הבעיה שהוא נועד לפתור מוכרת לכל צוות שמגיש מודלים גדולים בייצור: בשעת עומס בקשות ממתינות בתור על אשכול רווי, ובאותו זמן מעבדים גרפיים באשכול אחר, לעתים באזור אחר, עומדים ללא שימוש. הלקוח כבר שילם על הקיבולת הזו, אבל הבקשות לא מגיעות אליה.

ארכיטקטורה בשתי שכבות

השער הגלובלי הוא השכבה השנייה מעל Inference Gateway, שהושק קודם לכן. הרכיב הקודם מעניק לכל אשכול נקודת קצה אחת שמודעת למצב המעבדים הגרפיים, ומשבץ כל בקשה בפוד המתאים לפי אותות בזמן אמת כמו ניצול מטמון KV ועומק התור. הוא פותר את הניתוב בתוך האשכול, אבל לא בין אשכולות. השער החדש בוחר את האשכול ומעביר את הבקשה על גבי רשת השדרה של AWS, ובתוך כל אשכול הרכיב הקיים ממשיך לבחור את הפוד ללא שינוי.

AWS ממחישה את הבעיה בתרחיש של צוות שמגיש ארבעה מודלים על חמישה אשכולות בשני אזורים. בלי שום שער, הלקוחות צריכים לעקוב אחר 20 נקודות קצה. השער ברמת האשכול מצמצם את המספר לחמש, אך הלקוח עדיין בוחר אשכול בעצמו. התוצאה היא עומס לא אחיד, מעבר ידני בעת תקלה, ותשתית מותאמת של מאזני עומסים, DNS ורשת בין-אזורית שהצוות נאלץ לבנות ולתחזק.

איך השער בוחר אשכול

לכל בקשה השער מדרג את כל האשכולות התקינים לפי ארבעה אותות ושולח אותה לאשכול שקיבל את הציון הגבוה ביותר. האותות הם מרווח פנוי במטמון KV ובזיכרון ה-GPU (משקל ברירת מחדל 0.20), עומק התור (0.25), הקרבה בין האשכול לאזור של השער (0.40) ושיעור השגיאות האחרון (0.15). הלקוח יכול לשנות את המשקלות בטווח 0 עד 1, ובתנאי שסכומם יהיה 1. משקל 0 מנטרל את האות. כך למשל ארגון שמעדיף עמידות על פני קרבה יכול להעלות את משקל שיעור השגיאות ולהוריד את משקל הקרבה. שינוי משקלות חל על בקשות חדשות בלבד, ואינו מחייב הקצאה מחדש של משאבים.

משקלי ברירת המחדל לבחירת אשכול מקור: AWS מרווח KV וזיכרון GPU: 0.20 עומק התור: 0.25 קרבה לאזור השער: 0.40 שיעור שגיאות: 0.15

כשאשכול כושל, התעבורה עוברת אוטומטית לאשכול הבא בדירוג, והאשכול חוזר לפעולה בהדרגה לאחר ההתאוששות. בקשה שנכשלה מנוסה פעם נוספת באשכול אחר, אלא אם כבר החלה להזרים תשובה. אם לא נותר אף אשכול תקין, השער מחזיר שגיאה 503.

אבטחה, הקמה וזמינות

כל בקשה נחתמת ב-SigV4 ומאושרת באמצעות IAM, והיא מגיעה לאשכולות רק דרך AWS PrivateLink. לפי AWS, השער אינו רושם ואינו שומר את הפרומפטים או את התשובות. השער גם בודק מגבלות קצב ודוחה בקשות פסולות לפני שהן מגיעות לאשכול כלשהו. הבקשות עצמן נשלחות בפורמט התואם ל-OpenAI.

ההקמה כוללת שני צעדים: פרסום כל אשכול באופן פרטי מחשבון הלקוח, ויצירת השער עם רשימת האשכולות. בעת הפרסום נוצר מאזן עומסים רשתי מול האשכול. AWS מזהירה שאשכול שפורסם אך לא שויך לשום שער אינו מקבל תעבורה, אבל מאזן העומסים שלו ממשיך לפעול ולהיות מחויב. אפשר להוסיף ולהסיר אשכולות בלי להשפיע על נקודת הקצה או על הלקוחות.

חברת המשחקים Bagelcode, שהשתתפה בבדיקות הבטא, מסרה כי השער ניתב בקשות בין שני אזורים דרך נקודת קצה אחת והמשיך לשרת גם כשאחד האשכולות הפסיק להגיש את המודל. לדברי ג'ינהיונג פארק, סגן נשיא לפלטפורמת AI בחברה, הדבר העניק לצוות הפלטפורמה הקטן מעבר בין-אזורי בעת תקלה בלי לבנות שכבת ניתוב עצמאית.

השירות זמין ב-13 אזורים של AWS בארצות הברית, דרום אמריקה, אירופה ואסיה-פסיפיק. המהלך משקף מגמה רחבה: ככל שהמודלים גדלים וקשה יותר להשיג קיבולת GPU במקום אחד, ספקיות הענן נדרשות לאפשר ללקוחות לנצל קיבולת מפוזרת כאילו הייתה מאגר אחד.

שאלות נפוצות

מה זה Global Inference Gateway של AWS?

Global Inference Gateway הוא רכיב בשירות Amazon SageMaker HyperPod שמנתב בקשות הסקה למודלי בינה מלאכותית בין אשכולות GPU, באותו אזור ענן או באזורים שונים, דרך נקודת קצה מנוהלת אחת. מטרתו לנצל קיבולת פנויה שכבר נרכשה, במקום להשאיר בקשות בתור באשכול עמוס בזמן שמעבדים באשכול אחר אינם מנוצלים.

מה ההבדל בין Inference Gateway לבין Global Inference Gateway?

Inference Gateway מנתב בקשות בתוך אשכול יחיד ובוחר את הפוד המתאים לפי נתונים בזמן אמת, כמו ניצול מטמון KV ועומק התור. Global Inference Gateway פועל בשכבה שמעליו ובוחר לאיזה אשכול להעביר כל בקשה, גם בין אזורי ענן. שני הרכיבים פועלים יחד: האחד בוחר אשכול, והשני בוחר פוד בתוכו.

איך AWS בוחרת לאיזה אשכול GPU לשלוח בקשת הסקה?

השער מדרג את האשכולות התקינים לפי ארבעה אותות: קיבולת פנויה במטמון KV ובזיכרון ה-GPU, עומק התור, קרבת האשכול לאזור השער ושיעור השגיאות האחרון. הבקשה נשלחת לאשכול בעל הציון הגבוה ביותר. אפשר לשנות את משקל האותות, בתנאי שסכומם יהיה 1; השינוי חל על בקשות חדשות ואינו דורש הקצאת משאבים מחדש.

מה קורה כשאשכול GPU נכשל ב-Global Inference Gateway?

כאשר אשכול נכשל, השער מעביר אוטומטית את התעבורה לאשכול הבא בדירוג. בקשה שנכשלה מנוסה פעם נוספת באשכול אחר, אלא אם כבר החלה להזרים תשובה. לאחר התאוששות האשכול, התעבורה חוזרת אליו בהדרגה. אם אין אף אשכול תקין, השער מחזיר שגיאה 503 במקום להעביר את הבקשה לאשכול שאינו זמין.

איך Global Inference Gateway מאבטח בקשות והאם הוא שומר פרומפטים?

כל בקשה נחתמת באמצעות SigV4 ומאושרת דרך IAM, והגישה לאשכולות מתבצעת רק באמצעות AWS PrivateLink. לפי AWS, השער אינו רושם ואינו שומר את הפרומפטים או את התשובות. בנוסף, הוא בודק מגבלות קצב ודוחה בקשות פסולות לפני שהן מגיעות לאשכולות. הבקשות נשלחות בפורמט התואם ל-OpenAI, לצד מנגנוני האבטחה האלה.

כתבות קשורות