Sketch2BIM: פייפליין רב‑סוכני לשיתוף פעולה אדם‑AI להמרת תוכניות רצפה שצוירו ביד למודלי BIM תלת‑ממדיים

המחקר מציע כלי פרקטי להמרת שרטוטים ידניים של תכניות בניין למודלי BIM תלת־ממדיים מדויקים. בארגונים אדריכליים, קבלניים, ניהול נכסים ותיעוד מורשת ניתן לחסוך זמן וכסף על איסוף ופריסת נתוני מבנה: מהנדסים או שרטטים יוכלו להעלות סקיצות ידניות ולקבל מודל BIM חצי‑אוטומטי שמוכן לעריכה או לשילוב בשרטוטים מקצועיים. הפתרון מפחית את התלות בהקלדה ידנית של פרטים, מקל על שיתוף פעולה בין מומחים ללא צורך בידע מפורט ב‑BIM, ומשפר קווי עבודה בשרטוט מהיר, שימור מבנים, תכנון מחדש ושירותי שטח עבור חברות נדל"ן ותשתיות.

Abstract

המאמר מציג Sketch2BIM — צינור עבודה (pipeline) רב‑סוכני המשלב מודלים רב‑מולטימאליים (MLLMs) יחד עם לולאת משוב אנושית להמרת שרטוטי רצפה חופשיים למודלי BIM תלת‑ממדיים סמנטיים. המטרה להנגיש תהליך יצירת BIM הן למומחים והן למשתמשים לא־מומחים, להקטין טעויות הקלדה ולהאיץ המרה של מידע פרספציונלי (קירות, דלתות, חלונות) למבנה נתונים נגיש לייצוא.

Introduction

המחקר מתמקד בבעיה מעשית: המרת שרטוט ידני לא מדויק למודלי BIM שמצריכים פירוט סמנטי וגאומטרי. פתרון קיים דורש עבודה ידנית מרובה; כאן מציעים גישה המנצלת היכולות המרחיבות של MLLMs לשילוב ראייה, הבנה וסינתזה של תיאור מובנה וממשק עם כלים להפקת סקריפטים שמייצרים מודלים במערכות BIM.

Methods

הגישה מחולקת לרכיבים מודולריים:

• רכיב תפיסתי (perception): מודלים חזותיים מזהים אלמנטים בסיסיים בשרטוט (קירות, דלתות, חלונות, פתחים).
• יצירת תיאור מבני (layout JSON): אלמנטים מזוהים מומרצים לצורת JSON מסודרת שכוללת קטגוריות, מיקומים יחסיים ותכונות סמנטיות.
• לולאת משוב אנושי (human‑in‑the‑loop): המשתמש רואה תצוגת JSON/שרטוט מתוקנן, נותן תיקונים טקסטואליים או גרפיים, ו‑MLLMs מפרשים ומשכללים את הייצוג.
• ולבסוף סקריפט הגנרטור ל‑BIM: המרה אוטומטית של ה‑JSON לסקריפטים שמייצרים אובייקטים ב‑BIM (קירות, חלונות, דלתות) בקנה מידה ותכונות נדרשות.

המסגרת היא רב‑סוכנית: כל סוכן ממוקד במשימה אחת (גילוי פריטים, תיקון גאומטרי, ניתוח סמנטי, יצירת קוד BIM), ו־MLLMs מתפקדים כממשק לשפה שמוביל החלטות ושילובים בין הסוכנים.

Dataset ופרוט הניסויים

המאמר מתאר ניסויי המרה על מגוון פריסות רצפה בשרטוט חופשי (hand‑drawn). תוצאות הניסוי מדווחות עבור קטגוריות פריטים שונות ובמהלך איטרציות משוב מרובות; מדדי ביצוע כוללים precision, recall, F1 ושגיאות גאומטריות (RMSE, MAE). (המחקר מדגיש תוצאות יחסיות לאורך הלולאה האינטראקטיבית במקום הסתמכות על מדגם סטטי גדול.)

Results

תוצאות מפתח המדווחות:

• זיהוי קירות בריצה הראשונה מתחיל בסביבות ~83% (נקודת התחלה) ומשתפר עד ל"כמעט התאמה מושלמת" לאחר מספר איטרציות משוב.
• מדדי precision, recall ו‑F1 נשארים מעל 0.83 לכל הקטגוריות, מה שמעיד על יציבות סיווגית טובה ברמת האלמנטים.
• שגיאות גאומטריות (RMSE, MAE) מצטמצמות בהדרגה ומדוחות שהן מתקרבות לאפס לאחר תיקונים חוזרים בלולאת המשוב — מה שמראה יכולת להעמיד מודל מדויק גאומטרית.
• המערכת מצליחה להפיק תסריטי BIM אוטומטיים שמייצרים מודלי 3D תואמים לתיאור ה‑JSON ללא צורך בהקלדה ידנית נרחבת.

Discussion

המחקר מדגים את היתרון המרכזי בשילוב מודלים רב‑מולטימאליים ברמת החלטה רב‑סוכנית: המערכת מנצלת יכולות ראייה לזיהוי מבני בסיס, יכולות שפה להבנת הוראות ותיקונים אנושיים, ולבסוף ייצוא מבני נתונים למנועי BIM. הלולאה האינטראקטיבית היא קריטית: משוב אדם מאפשר תיקון שגיאות הבנה או אי‑דיוקים גאומטריים במהירות ולהשגת תוצאה מקצועית.

Contributions

• הצגה של צינור עבודה פרקטי המבוסס על סוכנים מרובים ומודלים רב‑מולטימאליים ליצירת BIM משרטוטים ידניים.
• הדגמה אמפירית שמדלגת על צורך בתיקון ידני נרחב באמצעות לולאת משוב קצרה שהופכת את התהליך לסקלבילי ואמין.
• מדדי ביצוע כמותיים המראים דיוק ראשוני גבוה ושיפור מהיר עם מעורבות אנושית.

Limitations and Future Work

המחקר מציין שהדיוק הראשוני משתנה לפי איכות השרטוט, שהשיטה תלויה באיכות המשוב האנושי ובממשק להצגת תוצאות, וכי יש צורך לבחון הכללה על מגוון רחב יותר של סגנונות שרטוט ותנאי רעש חזותי. כיוונים עתידיים כוללים שיפור רכיב ההסקה הגאומטרי, הערכה בסקייל תעשייתי ואינטרופרביליות מול תוכנות BIM מסחריות שונות.

Conclusion

Sketch2BIM ממחיש כי שילוב של MLLMs בתוך מסגרת רב‑סוכנית ועם לולאת משוב אנושית מהווה דרך יעילה ופרקטית להנגיש יצירת BIM מתוך שרטוטים חופשיים. המחקר מספק מדדים כמותיים שתומכים בכישורי המערכת ומציע נתיב להפחתת עבודת הייצור הידנית בסביבות אדריכליות והנדסיות.