צמיד אולטרסאונד שמתרגם תנועות ליד רובוטית
מהנדסי MIT פיתחו צמיד אולטרסאונד שמדמיין את גידי ושרירי שורש כף היד ומתרגם אותם בעזרת בינה מלאכותית למיקומי אצבעות. המערכת מאפשרת שליטה אלחוטית ביד רובוטית ובאובייקטים וירטואליים בדיוק גבוה.
צוות מהנדסים מ־MIT הציג צמיד אולטרסאונד לביש שמאפשר למשתמשים לשלוט ביד רובוטית באמצעות תנועות היד והאצבעות שלהם, בזמן אמת ובאופן אלחוטי. הרעיון נשען על העובדה שמה שנראה כמו מחווה יומיומית, כמו גלילה בטלפון, מתאפשר הודות לתזמור מורכב של עשרות שרירים ומפרקים ומאות גידים ורצועות. דווקא המורכבות הזו היא שמקשה על רובוטים ועל עולמות מציאות מדומה ורבודה לשחזר תנועות יד טבעיות, רציפות ומדויקות.
איך זה עובד: “לראות” את החוטים שמפעילים את האצבעות
המערכת של MIT אינה משתמשת במצלמות, שעלולות להיחסם או לדרוש התקנה מסורבלת, וגם לא בכפפות חיישנים שעלולות להגביל את תחושת המגע ואת טווח התנועה. במקום זאת, הצמיד מפיק תמונות אולטרסאונד של שורש כף היד, בזמן שהאצבעות זזות. באולטרסאונד ניתן לראות את השרירים, הגידים והרצועות שמפעילים את האצבעות, כמו “חוטים” שמושכים בובות. המכשיר מצמיד לשורש כף היד מדבקת אולטרסאונד בגודל של שעון חכם, עם אלקטרוניקה מובנית בקירוב בגודל של טלפון.
רוצה להישאר מעודכן ב-AI?
הירשם לדיוור השבועי שלנו וקבל עדכונים, המלצות על כלים, חדשות ודוחות מיוחדים
החידוש המרכזי הוא שכאן לא מסתפקים בזיהוי מחוות גסות. לבני אדם יש כ־22 דרגות חופש בכף היד והאצבעות, שילובים שונים של כפיפה, פשיטה וזוויות. הצוות זיהה אזורים בתמונות האולטרסאונד שמקושרים לכל אחת מדרגות החופש הללו, ואז השתמש באלגוריתם בינה מלאכותית כדי לתרגם באופן רציף את תמונת האולטרסאונד למיקומי חמש האצבעות והכף.
מאימון עם מצלמות, עד שליטה ברובוט שמנגן
כדי ללמד את המערכת את “השפה” של האולטרסאונד, המתנדבים ביצעו מחוות שונות בזמן שמצלמות תיעדו את מיקום היד. כך ניתן היה להצמיד תוויות לנתוני האולטרסאונד ולהכשיר את המודל לזהות דפוסים ולהסיק מהם את תנוחת היד. לפי הדיווח, בניסויים שכללו שמונה מתנדבים בגדלי יד ושורש כף יד שונים, הצמיד הצליח לעקוב במדויק אחרי מחוות רבות, כולל סימנים של 26 האותיות בשפת הסימנים האמריקאית והחזקת חפצים כמו כדור טניס, בקבוק פלסטיק, מספריים ועיפרון.
בהדגמות יישומיות, המשתמש שלט באמצעות מחוות כמו צביטה ואחיזה באובייקטים על מסך מחשב, תוך הגדלה, הקטנה והזזה “חלקה” של פריטים במרחב וירטואלי. בנוסף, הצמיד שימש כמעין “בובת תיאטרון” אלחוטית ליד רובוטית מסחרית: המשתמש ביצע תנועות נגינה, והרובוט חיקה אותן בזמן אמת וניגן מנגינה פשוטה, ואף שיחק משחק קליעה למטרה עם כדורסל זעיר.
למה זה חשוב עכשיו: נתונים לדור הבא של רובוטים וממשקי XR
המחקר מציב חלופה מעניינת לשיטות עכשוויות: בניגוד לאיתותים חשמליים מהשרירים (EMG), שעלולים להיות רגישים לרעש סביבתי ולא תמיד מבחינים בתנועות ביניים עדינות, האולטרסאונד מציע “חלון” ישיר יותר למכניקת הגידים והשרירים. המשמעות עשויה להיות ממשקי שליטה אינטואיטיביים ומדויקים יותר למציאות מדומה ומציאות רבודה, במיוחד בתרחישים שבהם מצלמות לא מעשיות, ומבלי לדרוש מהמשתמש ללבוש כפפה שמפריעה לתחושה.
הצוות מתכנן למזער עוד את החומרה ולהרחיב את אימון המודל לתנועות רבות יותר ולמגוון רחב יותר של משתמשים. אם ייבנה מאגר נתונים גדול של תנועות יד מדויקות, כפי שמציעים החוקרים, הוא עשוי להזין את הדור הבא של רובוטים אנושיים (הומנואידיים) ולתרום למשימות עדינות, כולל הכשרה עתידית של רובוטים לביצוע פעולות מורכבות בתחומים כמו רפואה, ייצור מתקדם ותפעול מרחוק.