למידת מכונה פרטית מהירה יותר לרגרסיה, פרסום והמלצות AI

פרטיות דיפרנציאלית נכנסת לשלב הפרקטי של ה-AI העסקי

אחד האתגרים הגדולים באימוץ בינה מלאכותית בארגונים אינו רק איכות המודל, אלא היכולת לאמן אותו על נתונים רגישים מבלי לחשוף מידע אישי. פרטיות דיפרנציאלית הפכה בשנים האחרונות לאחת השיטות המרכזיות להתמודדות עם הבעיה, אך בפועל היא מגיעה עם מחיר כבד: רעש מתמטי שמוזרק לתהליך האימון, האטה בהתכנסות ולעיתים ירידה בדיוק.

מחקר חדש שפורסם באתר Microsoft Research תחת הכותרת Private Learning with Public Feature Conditioning מציע כיוון מעניין במיוחד: במקום להתייחס לכל המידע במערכת כרגיש באותה מידה, הוא מנצל את העובדה שביישומים רבים קיימות גם תכונות ציבוריות שאינן רגישות. למשל, במערכות פרסום והמלצות, ייתכן שהמאפיינים של מוצר, קטגוריה, מיקום בדף או מידע הקשרי יהיו ציבוריים, בעוד שהתווית, כמו קליק, רכישה או דירוג של משתמש, היא המידע הרגיש באמת.

מה Cond-DP משנה לעומת DPSGD

הגישה המקובלת לאימון פרטי היא DPSGD, גרסה של ירידת גרדיאנט סטוכסטית שמגבילה ומרעישה את העדכונים כדי לצמצם חשיפת מידע. הבעיה היא שכאשר מטרת המודל היא רגרסיה, ולא סיווג, תחום שנחקר פחות בהקשר של פרטיות תוויות, השיטה עלולה להיות לא יעילה במיוחד.

Cond-DP, השיטה שמציגים שולי ג׳יאנג, וליד קרישן וניקולא מיוראז, מוסיפה שלב של התניה מתמטית המבוסס על מטריצת התכונות הציבוריות. במילים פשוטות, במקום לאמן את המודל באותו מרחב גאומטרי שבו הנתונים ניתנים במקור, השיטה משנה את צורת מרחב האופטימיזציה כך שהאימון יתקדם במסלול נוח ומהיר יותר. הרעיון נשען על תצפית מוכרת במערכות נתונים אמיתיות: לתכונות ציבוריות רבות יש ספקטרום דועך במהירות, כלומר חלק קטן מהכיוונים במידע מסביר חלק גדול מהמבנה.

החוקרים מראים כי ניתן לבנות את מטריצת ההתניה מתוך התכונות הציבוריות בלבד, ולכן ללא עלות פרטיות נוספת. זהו פרט חשוב מאוד מבחינה מסחרית, מפני שכל שימוש נוסף בנתונים רגישים מייקר את תקציב הפרטיות ומגביל את יכולת האימון.

למה זה חשוב לפרסום, המלצות ופינטק

ההשפעה הפוטנציאלית של Cond-DP רחבה יותר מעוד שיפור אלגוריתמי. מודלי רגרסיה נמצאים בליבת מערכות חיזוי הכנסות, תמחור דינמי, הערכת סיכון, דירוג לידים, אופטימיזציית קמפיינים וחיזוי ערך משתמש. אלה תחומים שבהם חברות מחזיקות מידע רגיש, אך גם שפע של מאפיינים ציבוריים או חצי ציבוריים שניתן לנצל בחוכמה.

אם השיטה אכן תעמוד במבחני ייצור רחבים, היא עשויה לאפשר לארגונים לשפר ביצועי AI מבלי להקריב תאימות לרגולציה כמו GDPR או דרישות פרטיות פנימיות. במיוחד בעידן שבו מערכות המלצה ופרסום נבחנות בזכוכית מגדלת רגולטורית, כל שיטה שמציעה שיפור ביצועים ללא הגדלת סיכון פרטיות היא בעלת ערך עסקי ממשי.

מעבר מהגנה פסיבית לאופטימיזציה מודעת פרטיות

התרומה העמוקה יותר של המחקר היא שינוי תפיסה. פרטיות דיפרנציאלית נתפסה לעיתים כמנגנון הגנה שמוסיפים בסוף, גם אם הוא פוגע בביצועים. Cond-DP מציעה לראות בפרטיות אילוץ תכנוני שמעצבים סביבו את תהליך הלמידה כולו. במקום לשאול רק כמה רעש צריך להוסיף, השאלה הופכת להיות כיצד לבנות את האופטימיזציה כך שהרעש יפגע פחות.

זהו כיוון חשוב לעתיד ה-AI הארגוני. ככל שמודלים יידרשו לפעול על נתונים רגישים יותר ובסביבות מפוקחות יותר, היתרון לא יהיה רק למי שמחזיק יותר נתונים, אלא למי שיודע להפיק מהם ערך תחת מגבלות פרטיות מחמירות. Cond-DP מסמן צעד נוסף לעבר בינה מלאכותית שימושית, מדויקת ואחראית יותר.