מחזמר מודרני: בינה מלאכותית שמתרגמת מוזיקה לתמונות חיות בזמן אמת
על-פי דיווח מ-MIT, הסטודנט מריאנו סאלסדו מפתח מערכת AI המבוססת על Neural Cellular Automata שמייצרת ויזואליזציות דינמיות למוזיקה בזמן אמת. המטרה: להפוך סאונד לחוויה חזותית יצירתית ונגישה.
מריאנו סאלסדו (Mariano Salcedo), סטודנט לתואר שני במחזור הראשון של תוכנית Music Technology and Computation ב-MIT, בונה מערכת בינה מלאכותית שמאפשרת "לראות" מוזיקה. בלב הפיתוח עומד מודל בשם Neural Cellular Automata (NCA), שמייצר דימויים דינמיים ומסוגל להשתנות ואף "להתחדש" תוך כדי פעולה, בהתאם לאנרגיה ולמאפייני האודיו הנכנס.
איך הופכים צליל לתנועה חזותית
הגישה של סאלסדו משלבת בין רעיון ותיק מעולם המחשוב, אוטומטים תאיים (Cellular Automata), לבין למידת מכונה מודרנית. במקום ציור או אנימציה שנקבעים מראש, ה-NCA מתנהג כמערכת שמארגנת את עצמה: תאים "מקומיים" משפיעים זה על זה ויוצרים דפוסים מתפתחים, לעיתים בלתי צפויים, בדומה לאופן שבו תופעות מורכבות צומחות מכללים פשוטים.
רוצה להישאר מעודכן ב-AI?
הירשם לדיוור השבועי שלנו וקבל עדכונים, המלצות על כלים, חדשות ודוחות מיוחדים
סאלסדו פיתח ממשק-ווב שמאפשר למשתמשים לכוון את הקשר בין עוצמת המוזיקה לבין פרמטרים פנימיים של המערכת. התוצאה היא כלי שמייצר הופעות ויזואליות ייחודיות מכל זרם אודיו, ומאפשר ליוצרי מוזיקה, דיג'יים וחוקרים לייצר שכבה נוספת של פרשנות למוזיקה ללא צורך בסטודיו אנימציה או ידע גרפי מתקדם. כפי שסאלסדו מסביר, המטרה היא שהוויזואליזציה "תשלים ותעצים את חוויית ההאזנה" ולא רק תקשט אותה.
מה החידוש לעומת ויזואליזציות מוכרות
בעולם המוזיקה כבר קיימים ספקטרומים, "גלי קול" ואפקטים שמגיבים לתווים ובסים. החידוש במחקר של סאלסדו הוא המעבר מתגובה ליניארית ופשוטה לסאונד, אל מערכת יצירתית בעלת דינמיקה פנימית. במילים אחרות, לא רק "מה המוזיקה עושה לתמונה", אלא גם "איך התמונה מתפתחת כמערכת" ואז מגיבה למוזיקה. זה פותח אפשרויות לסגנונות חזותיים שאינם ניתנים לתכנון מלא מראש, ודווקא בכך טמונה האסתטיקה שלהם.
תשתית אקדמית חדשה למוזיקה חישובית
העבודה מתרחשת במסגרת התוכנית החדשה ב-MIT שמנוהלת על ידי ארן אגוזי (Eran Egozy), פרופסור מהפרקטיקה בטכנולוגיית מוזיקה. מדובר בשיתוף פעולה בין Music and Theater Arts לבין School of Engineering, שמטרתו לקדם כלים חישוביים חדשים ליצירה ולהבנת מוזיקה. אגוזי מדגיש שסאלסדו הוא דוגמה לחוקר רב-תחומי שחושב לעומק כיצד טכנולוגיה יכולה להרחיב יצירתיות אנושית.
מרכיב נוסף שמופיע בסיפור הוא החיבור לתעשייה: אלכס ריגופולוס (Alex Rigopulos), יזם ומוזיקאי ומי שהוביל את Harmonix (לימים חלק מ-Epic Games), מממן מלגת מחקר ייעודית בתוכנית. מבחינת השוק, זהו איתות לכך שגבולות המשחקים, ההופעות החיות, והכלים ליוצרי תוכן ממשיכים להיטשטש, ו-AI הופך למנוע מרכזי בעיצוב חוויות אודיו-ויזואליות.
מעבר למוזיקה: למה זה חשוב גם למחקר AI
סאלסדו מציג את ה-NCA לא רק ככלי אמנותי, אלא כמסלול להבין טוב יותר מערכות מתארגנות עצמית: מאורגניזמים רב-תאיים ועד להקות ציפורים או דינמיקות חברתיות, שבהן אינטראקציות מקומיות מייצרות התנהגות גלובלית מורכבת. בתקופה שבה המחקר הציבורי נשאב לעבר מודלי שפה גדולים, ההתמקדות במודלים דינמיים ובסיסיים יותר יכולה להוסיף זווית חשובה להבנת AI, להסברת פעולתו לקהלים רחבים, ולבחינת שאלות אתיות של שליטה, שקיפות והטיות.
את מחקרו "Artificial Dancing Intelligence: Neural Cellular Automata for Visual Performance of Music" הציג סאלסדו בכנס AAAI בינואר 2026. במקביל, הוא מעיד שהלימודים במיזוג בין מדעי ההנדסה לתיאוריה מוזיקלית שינו גם את המוזיקה שהוא עצמו יוצר. אם החזון יבשיל לכלים נגישים, ייתכן שבעתיד הקרוב יותר אנשים יוכלו לחוות מוזיקה לא רק באוזניים, אלא כחוויה מרחבית של תנועה וצורה בזמן אמת.