אופטימיזציה ארכיטקטונית ברשתות נוירונים עמוקות: ניסויים בשיטה בהשראה תיאורטית

המחקר מציע תהליך פשוט ובעלות חישובית נמוכה לשיפור עמידות הרשת (confidence/robustness) מבלי להגדיל את מספר הפרמטרים או את דרישות החומרה. מנהלי מוצר ומהנדסי AI יכולים להשתמש בעקרון זה כדי לכוונן חלוקת נוירונים across‑layers ברשתות המיועדות להרצה על חומרה מוגבלת (tinyML, מערכות לווייניות, מערכות מוטמעות), לקבל תוצאה אמינה יותר תחת רעשים/תקלות קרינתיות, ולשפר את היציבות של התחזיות בלי לשנות את תפוקת הדיוק. בנוסף, המדד התרמודינמי (רדיוס ספקטרלי) יכול לשמש ככלי הנחייה פרקטי בבחירת טופולוגיה בסביבות פיתוח וייצור.

מבוא

המחקר עוסק באופטימיזציה של ארכיטקטורת רשתות עצביות עמוקות על‑ידי שינוי הפריסה של הנוירונים בשכבות הנסתרות, כאשר המספר הכולל של הנוירונים נשמר קבוע. ההשראה התיאורטית נלקחה ממודלים סטטיסטיים של Restricted Boltzmann Machines (RBMs): באמצעות מושגי טמפרטורה אינברסית (β) המחושבת מהתנודות של משקלות החיבורים בין שכבות, ניתן לאפיין איזורים "חמים" ו"קרים" ברשת. ההצעה היא להזיז נוירונים לכיוון האזורים הקרים (ערכי β גבוהים) כדי לשפר את מאפייני הלמידה והיציבות.

מטרת המחקר וגישת הניסוי

המטרה הניסויית היתה לבדוק האם הנחיות תיאורטיות אלה תקפות ברשתות סופיות ומממשיות, ולמדוד את השפעתן על שתי מטריקות מרכזיות: Accuracy (Acc) ו‑Robustness (Rob). לשם כך נעשו ניסויים ברשתfully‑connected עם 3 שכבות נסתרות בתחילה (64 נוירונים בכל אחת, סה"כ 192 נוירונים ניידים), קלט בגודל 784 ופלט בגודל המתאים למספר המחלקות. השיטה הפרקטית שנבדקה היא "trimming and grafting" — חיתוך של זוג נוירונים משכבה אחת והוספתם לשכבות אחרות בהתאם לדרישה שהתגלתה דרך חישוב ה‑β.

מדדים והגדרות

Acc הוגדרה כממוצע מדד הדיוק המאוזן בין המחלקות. Rob הוגדר כהפרש המנורמל בין הציון שהוקצה לתווית הנכונה לבין הציון הגבוה ביותר מבין התשובות השגויות; מטריקה זו מודדת את מרחק האמון בין התוצאה הנכונה למתחרה הקרובה ומיועדת לשקף עמידות מול רעשים וסרטונים של קרינה בחומרה מוטמעת. נוסף לכך הוצג המושג של רדיוס ספקטרלי ρ(β,α) כמקבילה תרמודינמית המשוערת המצביעה על מעבר פאזה (כדי שהרשת תוכל ללמוד יש צורך בρ>1).

אומדן טמפרטורות (β) ורדיוס ספקטרלי

המחברים מחשבים β(p) כווריאנס המשקלים בין זוג שכבות שכנות (משוואה (4)). הערכים ההתחלתיים ברשת האיזורית דיווחו β0 = (7.42, 7.35), מה שמראה שהמערכת נמצאת מחוץ ל"פאזה הפרמאגנטית" (ρ>1). הניתוח מצביע על כך ששינויים בα (חלקיות הנוירונים לשכבות) משפיעים על ρ, ושמקסימום רדיוס ספקטרלי מתואם עם מקומות שבהם Rob גדול.

מקרה מבחן: MNIST

הניסוי העיקרי השתמש ברשת המוגדרת לעיל ובסט ה‑MNIST. מהמצב ההתחלתי α0=(64/192,64/192,64/192) בוצעו צעדים חוזרים של העברת שני נוירונים בכל צעד לכיוון הזוג השכבות הקר ביותר. תצפיות עיקריות:

• Acc התחילה ב־85.815 (ערך שנמדד בניסוי) ויכלה לעלות באיטיות; השיא המקומי של הדיוק נרשם ב‑α18 עם עליה של 2.17% ביחס לα0.
• Rob הגיע לשיא מקומי חד ב‑α8; בריצה בודדת השיפור היה עד 13.5% ביחס לα0, ובממוצע על פני הרצות חוזרות השיפור הממוצע עמד על ~4.8%.
• המשך העברת נוירונים עד גבול מסוים (α28–α30) יצר "bottleneck" שבו הדיוק קרס; לכן קיים איזון אופטימלי בתוך אזור שזוהה כ"איזון תרמי" (thermal equilibrium) שבו ΔL1 ≤ ΔL2.
• רדיוס ספקטרלי ρ ותצפיות Rob הראו קורלציה ברורה: מקומות שבהם ρ גבוה קושרו לרובסטיות גבוהה יותר.

מקרים נוספים: MNIST (odd/even) ו‑FashionMNIST

המערכת נבדקה גם על גרסה בה המחלקות מווצגות כ־odd/even (פלט בגודל 2) ועל FashionMNIST:

• בקומפקטציה הביטווית (odd/even) השיפור הממוצע ב‑Rob הגיע לכ־6% ביחס לα0 (עם עלייה קלילה ב‑Acc בכ־0.7%), וה‑ρ הציג איזור פלאטו מתאים.
• ב‑FashionMNIST, שהינה משימה קשה יותר מבחינת מטריקות, נרשמו שיפורים צנועים יותר: Acc שונתה פחות מ־1% ואילו Rob השתפרה בכ‑2.8% במצבים אופטימליים (למשל α5). גם כאן שיאי Rob תואמו לערכי ρ גבוהים יחסית.

שיטות אימון ומפרטים טכניים

הרשת מומשה באמצעות ספריות לטובת חומרה מוטמעת (Brevitas); הגדרות האימון: dropout=0.2, epochs=500, learning rate=0.02 (ADAM), האיטחול משקולות אחיד בין -1 ל‑1, bias אפס, loss = Square Hinge, וניתן דגש על שימוש בביטים בודדים למשקולות ואקטיבציות (1 bit) כדי לרמות את התאמתה לחומרה מוגבלת. הקוד והנתונים זמינים בגיטהב (קישור במאמר).

דיון ומסקנות

התוצאות מראות שאסטרטגיית "הזזת נוירונים לאזורים קרים" המבוססת על מדידות תנודות משקליות והדרכה תיאורטית של RBM יכולה לשפר במיוחד את מדד הרובסטיות של רשתות מממד בינוני מבלי להגדיל את התקציב. ביצועים מיטביים נצפו בתוך אזורים שבהם הβ המקומיים מתאזנים (thermal equilibrium), ורדיוס ספקטרלי משמש כאינדיקטור שימושי לבחירת טופולוגיה שכנה. המסקנה המעשית ברורה: במערכות בהן המשאבים מוגבלים (לדוגמה לוויינים או מוצרי tinyML) ניתן להשיג רשתות עמידות יותר על‑ידי שינוי פריסת הנוירונים במקום הוספת פרמטרים או הגדלת דרישות חישוב.

מגבלות וכיווני מחקר עתידיים

הניסויים בוצעו על רשתות יחסית קטנות ומטלות בסיסיות (MNIST, FashionMNIST). מחברי המאמר מציינים צורך בבחינת מדרגיות השיטה לארכיטקטורות עמוקות ורחבות יותר, בחינת הקשר התיאורטי המלא בין ρ ל‑Rob והערכת השיטה על משימות מורכבות יותר (תמונות צבע, רשתות קונבולוציה/טרנספורמרים) ובהטמעה בחומרה אמיתית תחת תנאי קרינה ממשיים.

זמינות נתונים וקוד

הנתונים והקוד המלא לפרסום ותרחישי הניסוי זמינים ב‑GitHub: https://github.com/ArchitecturalOpt/Architecture-Optimisation

בסיכום, המחקר מציג גשר בין ניתוח תרמודינמי תיאורטי לבין הנדסת ארכיטקטורה פרקטית המייצר שיפור ברובסטיות ברשתות עמוקות תחת מגבלת משאבים.