הצגת חישוב נוירומורפי בר-קיימא במכניקת ההנדסה

המחקר מציע דרך להפוך סימולציות הנדסיות כבדות, כמו בדיקות ריסוק, תכנון מבנים או חישובי חומרים, ליעילות בהרבה מבחינת אנרגיה, זמן ועלות. עבור ארגונים בתעשיות רכב, תעופה, ייצור ותשתיות, המשמעות היא שאפשר להריץ יותר סימולציות בפחות חשמל, לקצר זמני פיתוח ולהפחית פליטות פחמן. במקום להסתמך רק על שרתי CPU/GPU יקרים וזוללי אנרגיה, ניתן להעביר חלק מהחישובים לשבבים נוירומורפיים או ל-FPGA, שמבצעים את אותם חישובים בצורה חסכונית יותר. מעבר לכך, המחקר מציג גם "פותרים חכמים" שמסוגלים ללמוד תוך כדי פתרון בעיה פיזיקלית, ולכן עשויים לזרז תהליכי תכן ואופטימיזציה גם כאשר אין הרבה דאטה מתויג. בטווח הארוך, זה יכול לאפשר מחלקות הנדסה לבנות תהליכי סימולציה בני-קיימא, מהירים וזולים יותר, מבלי לוותר על דיוק הנדסי.

רקע ומטרת המחקר

המאמר עוסק בבעיה הולכת וגדלה בעולם ההנדסה החישובית: העלות האנרגטית הגבוהה של סימולציות מספריות, ובעיקר של שיטת האלמנטים הסופיים (FEM), לצד העלייה בשימוש במודלי AI מתקדמים. המחברים מבקשים להכניס לראשונה מחשוב נוירומורפי מבוסס רשתות עצביות קוצבות (SNNs) לתחום מכניקת ההנדסה, ובכך לייצר מסגרת חישובית בת-קיימא לחישובים לא-ליניאריים הכוללים תלות במסלול, פלסטיות וגיאומטריה מורכבת.

המחקר נשען על שלושה נדבכים: פיתוח מסגרת לרגרסיה לא-ליניארית עם SNNs עבור סימולציות מכניות; פיתוח רשתות פיזיקליות-מונחות שמוטמעות ישירות באלגוריתם FEM ולומדות גם תוך כדי ריצה; ופריסה של הרשתות על חומרה ייעודית, כולל שבבים נוירומורפיים ו-FPGA, לצורך אימות וחיסכון אנרגטי.

פרופיל אנרגטי ומוטיבציה סביבתית

החוקרים מציגים תחילה השוואת אנרגיה בסיסית עבור כפל מטריצה-וקטור בין CPU, GPU ושלושה שבבים נוירומורפיים: Intel Loihi, SynSense Xylo ו-SynSense Speck. לפי המדידות והאמולציה, כל השבבים הנוירומורפיים צרכו משמעותית פחות אנרגיה מה-CPU וה-GPU, כאשר Loihi צרך בערך אחד חלקי 300,000 מהאנרגיה של CPU עבור הפעולה שנבחנה.

המאמר קושר את החיסכון האנרגטי גם להשפעה סביבתית. לדוגמה, מרכזי נתונים יכולים להגיע להספק של 12.2 מגה-וואט ולצריכה שנתית של 107 ג'יגה-וואט-שעה. לכן, מעבר אפילו חלקי לחומרה חסכונית יותר עשוי להשפיע על צריכת חשמל ופליטות CO2 בתעשייה ובמחקר.

תוצאות: מודלים מונעי-נתונים עם SNN ו-GNN

בחלק הראשון של התוצאות מוצג שימוש ב-Graph Neural Network כתחליף מלא למודל FEM בסימולציית ריסוק של פגוש רכב. המודל הגרפי מייצג את הצמתים והקשתות של הדיסקרטיזציה, ומנבא את כל משתני השדה הדרושים כך שניתן להציג את הפלט בכלי post-processing של FEM.

במקרה זה, הרצה קלאסית על מעבד AMD Ryzen 7 5800X בהספק 105W נמשכה 14 שעות, בעוד שהרצת ה-GNN הקצרה צרכה רק 1.25J. המחברים מדווחים על חיסכון של יותר מ-99% באנרגיה לעומת FEM קלאסי. הם גם מעריכים כי מעבר מ-GNN רגיל ל-GNN קוצב עשוי להפחית את צריכת האנרגיה לסדרי גודל נמוכים אף יותר.

לצורך אימות ניסויי, נבחן גם מקרה של לוחות אלומיניום דקים שעברו העמסות אימפולסיביות בשפופרת הלם. רשתות מהדור השני ורשתות SNN היברידיות שימשו לניבוי הסטת מרכז הלוח בזמן. שני סוגי הרשתות הפגינו התאמה טובה לתוצאות המדידה, אך הרשת ההיברידית הקוצבת דרשה פחות אנרגיה באופן בולט. הארכיטקטורה כללה שכבת Spiking LMU לקידוד, שכבות sparse לחישוב, ורשת רקורנטית קוצבת לפענוח, בתוספת שכבות dense סופיות לשיפור הדיוק.

אלמנטים חכמים וגישת co-processor

כדי לשלב בין FEM הקלאסי לבין היתרונות של SNN, החוקרים מציעים "אלמנטים סופיים חכמים" שבהם חלק מהחישובים, כמו רכיבי וקטור הכוחות הפנימיים ומטריצת הקשיחות, מוחלפים ברשת היברידית. בהערכת אנרגיה עבור סימולציית ריסוק רכב, מודל FE שרץ יותר מ-5 ימים על CPU i7-4960X היה גורר פליטות מוערכות של 115 ק"ג CO2 עבור חישובי הקשיחות והכוחות באלמנטים. כאשר אותם רכיבים הוחלפו ברשת SLSTM-dense היברידית, הפליטות ירדו ל-4 ק"ג CO2 בלבד, בהתבסס על צריכת אנרגיה כוללת של 303.4 קוט"ש ומקדם המרה של 0.38 ק"ג CO2 לקוט"ש.

החוקרים מדגישים שמדובר בהערכה בתצורת co-processor עתידית, שכן עדיין אין חומרה נוירומורפית מסחרית המשולבת ישירות כמאיץ כללי לצד CPU/GPU בסביבת FEM סטנדרטית.

רשתות פיזיקליות לומדות-עצמית בתוך FEM

התרומה המרכזית והכללית יותר של המאמר היא שילוב SNNs בתוך נקודות האינטגרציה של FEM, כלומר ברמת חוק החומר ולא ברמת surrogate לבעיה שלמה. לשם כך בנו החוקרים רשת היברידית recurrent-spiking + dense, המייצגת חוק חומר ויסקופלסטי מסוג Lemaitre-Chaboche. הרשת מאומנת תחילה ב-pretraining על ניסויים וירטואליים, אך בזמן ריצת FEM היא יכולה גם "ללמוד אונליין" באמצעות פונקציית הפסד פיזיקלית המבוססת על הצורה החלשה של משוואות החומר.

הגישה הזו נקראת self-learning solver: אם התחזית של הרשת אינה מקיימת מספיק טוב את שאריות המשוואות, מופעל אימון מקוון קצר שמביא את הרשת לפתרון מתכנס. בניגוד לפותרים איטרטיביים קלאסיים, המחברים טוענים שהאסטרטגיה הלא-ליניארית של הרשת מאפשרת להגיע לפתרון האמיתי בצעד אחד או במספר צעדים קטן מאוד, במקום סדרת איטרציות כמו ב-Newton-Raphson מסורתי.

מבחינת אנרגיה, עבור סימולציית הריסוק השלמה על שרת Xeon 8468 Sapphire עם שני מעבדים של 330W כל אחד ובזמן ריצה של כ-48 שעות, הצריכה הכוללת הייתה 32.2 קוט"ש, שהם כ-12 ק"ג CO2. בהנחה שרק שישית מנקודות האינטגרציה נמצאות בפלסטיות ולכן דורשות את חוק החומר הקוצב, הכנסת ה-SNNs לנקודות גאוס חוסכת כ-5.1 ק"ג CO2. כאשר מוסיפים גם העברת חישובי non-ML כמו כפל sparse matrix-vector ל-FPGA, החיסכון הכולל מוערך ב-92%. ללא רכיב ה-FPGA, ובהתחשבות גם בשכבות dense ובחישובים מחוץ לנקודות גאוס, ההפחתה הכוללת מוערכת בכ-43%.

אימות על חומרה נוירומורפית ו-FPGA

לצורך אימות פרקטי, החוקרים פרסו את שכבות ה-SNN על שבב Xylo של SynSense באמצעות Rockpool ו-Samna. הרשת כללה קידוד/פענוח של אותות רציפים לספייקים וחזרה, תחת אילוצי חומרה של נוירוני LIF ו-RLIF בלבד. בנוסף, מצוין כי ניתן לפרוס גם רשתות קונבולוציוניות קוצבות על שבב Speck.

במסלול משלים, המחקר בדק רשתות בינריות (BNN/QNN) על FPGA באמצעות FINN של Xilinx. עבור forward pass של שתי שכבות בינריות כחוק חומר surrogate, לוח ZYNQ Z2 FPGA עקף את Intel i7-13700K ב-60% במהירות, ואף היה מהיר ב-26% מ-NVIDIA RTX 4090. ההסבר הוא ש-dot product בינרי ממומש על FPGA עם XNOR-popcount, מה שמקטין צריכת משאבים, גישה לזיכרון והשהיית חישוב.

שיטות ומתודולוגיה

מתודולוגית, המחקר משלב כמה ארכיטקטורות: GNN מסוג GATv2Conv עם loss היברידי מונחה-פיזיקה עבור surrogate מבני; נוירוני LIF ו-Spiking Legendre Memory Unit עבור זיכרון ארוך יותר בתהליכים תלויי-מסלול; ורשתות recurrent hybrid עבור אינטגרציה של חוק חומר ויסקופלסטי. פונקציית ההפסד ההיברידית משלבת רכיב data-driven עם רכיב physics-based, ובזמן ההפעלה ב-FEM מתבססת בעיקר על השארית הסקלרית של חוק החומר לאחר אינטגרציה לאחור (Backward Euler).

מסקנות

המאמר מראה שמחשוב נוירומורפי במכניקת ההנדסה אינו רק רעיון תאורטי אלא כיוון מעשי עם פוטנציאל גדול. הממצא המרכזי הוא שרשתות היברידיות המשלבות sparse ו-dense מספקות את פשרת הדיוק-אנרגיה הטובה ביותר עבור רגרסיה לא-ליניארית מכנית. הגישה המונעת-נתונים מספקת את החיסכון האנרגטי הגדול ביותר, אך מוגבלת בהכללה; הגישה הפיזיקלית בתוך FEM כללית יותר, מאפשרת self-learning ללא צורך בנתונים מתויגים בזמן הריצה, וגם היא חוסכת אנרגיה באופן משמעותי. המחברים מסכמים שזהו צעד ראשון לקראת סימולציות הנדסיות בנות-קיימא המבוססות על AI וחומרה ייעודית.