זירת AI

סיווג הוגן אופטימלי לפי בייס תחת אילוצי פער ליניאריים באמצעות קדם־עיבוד, תוך־עיבוד ובתר־עיבוד

מאת Xianli Zeng, Kevin Jiang, Guang Cheng, Edgar Dobriban · פורסם: · עודכן:

המחקר מציע מסגרת מתמטית מאוחדת למציאת מסווג בעל שיעור השגיאות הנמוך ביותר תחת מגבלה מוגדרת על פערים בין קבוצות מוגנות. החוקרים מראים שמדדי הוגנות נפוצים, ובהם שוויון בשיעורי החלטות חיוביות, שוויון הזדמנויות ושוויון בשיעורי חיוביים שגויים, ניתנים לייצוג כאילוצים ליניאריים על המסווג. באמצעות קשר ללמת ניימן–פירסון הם מאפיינים את המסווג האופטימלי, ובמקרים מרכזיים מקבלים ספי החלטה נפרדים לקבוצות. מהתאוריה נגזרות שלוש שיטות: דגימה מחדש של נתוני האימון, אימון רגיש לעלויות טעויות ותיקון ספים לאחר האימון. ניסויים סינתטיים מראים התקרבות לפשרה האופטימלית בין הוגנות לדיוק, והשוואות בארבעה מאגרי נתונים מציגות ביצועים תחרותיים, במיוחד לשיטת הדגימה מחדש ברמות פער נמוכות. המחקר מרחיב את הניתוח גם למצב שבו המאפיין המוגן אינו זמין בחיזוי ולמספר אילוצי הוגנות. עם זאת, האופטימליות היא ברמת האוכלוסייה; הבטחות למדגם סופי ולביצועים מחוץ לנתוני האימון נותרות להמשך.

יישומי המאמר

המאמר מספק דרך שיטתית לבנות מערכות סיווג שמאזנות בין דיוק לבין צמצום פערים בין קבוצות, למשל בהחלטות אשראי, בקבלה ללימודים או בהערכת סיכונים. במקום לשנות פרמטרים באופן ניסויי ולקוות לתוצאה הוגנת, אפשר להגדיר פער מותר במדד מסוים ולכוון את המערכת אליו. המסגרת מציעה שלוש נקודות התערבות: שינוי היחסים בין קבוצות בדגימת נתוני האימון, שינוי העלות של טעויות במהלך האימון, או התאמת ספי ההחלטה לאחר אימון מודל קיים. האפשרות האחרונה מתאימה במיוחד כשכבר קיים מודל שמספק הערכות הסתברות טובות ורוצים להוסיף לו תיקון הוגנות בלי לאמנו מחדש. התוצאות אינן מבטיחות שכל מערכת תהיה הוגנת בעולם האמיתי. צריך לבחור מדד שמתאים להקשר, להחזיק במידע על הקבוצות בזמן האימון ולבדוק ביצועים על נתונים נפרדים. אפשר להימנע משימוש ישיר במאפיין המוגן בזמן החיזוי, אך הדבר אינו מבטל כשלעצמו הטיות או סוגיות משפטיות ואתיות.

פירוט המאמר

שאלת המחקר והתרומה המרכזית

המאמר עוסק בסיווג בינארי כאשר החלטות המודל עלולות ליצור פערים בין קבוצות המוגדרות באמצעות מאפיין מוגן, כגון מגדר או מוצא. שאלת המחקר אינה כיצד להשיג שוויון בכל מחיר, אלא מהו שיעור השגיאות הנמוך ביותר שניתן להשיג כאשר הפער במדד הוגנות מסוים מוגבל לרמה שהמשתמש בוחר. החוקרים מבקשים לאפיין מסווג בייסיאני אופטימלי תחת אילוץ זה, ולגזור ממנו אלגוריתמים מעשיים. החידוש המרכזי הוא מסגרת משותפת לתיקון הוגנות לפני האימון, במהלכו ואחריו.

הגדרת ההוגנות והבעיה הסטטיסטית

המסגרת מבחינה בין המאפיינים הרגילים, המאפיין המוגן והתווית הבינארית. המסווג רשאי להיות אקראי, כלומר להחזיר הסתברות להחלטה חיובית. ללא אילוצי הוגנות, ההחלטה האופטימלית היא חיובית כאשר ההסתברות המותנית לתווית חיובית עולה על חצי. תחת אילוצי הוגנות, יש להתאים את כלל ההחלטה כדי לצמצם הבדלים בין הקבוצות, תוך מזעור אובדן הדיוק. רמת הפער המותרת מיוצגת בפרמטר δ, הכולל גם אפשרות לשוויון מוחלט. המאמר מנתח שוויון דמוגרפי, שמשווה שיעורי החלטות חיוביות; שוויון הזדמנויות, שמשווה שיעורי חיוביים אמיתיים; ושוויון בשיעורי חיוביים שגויים. הוא מטפל גם ב־Equalized Odds, המחייב את שני השוויונות האחרונים יחד. אלו מדדים שונים, ולא הגדרה אוניברסלית אחת להוגנות. האילוצים המרכזיים מגבילים את הערך המוחלט של ההפרש בין הקבוצות, ולכן נועדו למנוע פער גדול בכל אחד משני הכיוונים.

הבסיס התאורטי

החוקרים מראים שסיכון הסיווג ניתן לכתיבה כביטוי ליניארי במסווג, בתוספת קבוע שאינו תלוי בו. הם מגדירים מדד פער ליניארי כממוצע משוקלל של פלט המסווג, ומדד ביליניארי כמקרה שבו פונקציית המשקל תלויה באופן אפיני בהסתברות המותנית לתווית חיובית בכל קבוצה. שלושת מדדי הפער המרכזיים מתאימים למבנה הביליניארי. כך מתקבלת בעיית אופטימיזציה ליניארית הדומה למקסום עוצמת מבחן סטטיסטי תחת מגבלה על טעות. הקשר ללמת ניימן–פירסון המוכללת מאפשר לאפיין את כלל ההחלטה האופטימלי באמצעות השוואה בין ההסתברות המותנית לבין סף מתוקן הכולל משקל הוגנות. במקרים הביליניאריים המרכזיים, הכלל מצטמצם לסף נפרד לכל קבוצה. פרמטר יחיד קובע את התיקון, והפער משתנה באופן מונוטוני ביחס אליו. לכן אפשר לחפש את התיקון הקטן ביותר שמקיים את האילוץ. אם המסווג הרגיל כבר עומד בדרישה, אין צורך לשנותו. כאשר קיימת מסה הסתברותית על גבול ההחלטה, נדרשת לעיתים אקראיות מבוקרת.

הפשרה בין הוגנות לדיוק והרחבות

המאמר מאפיין את חזית פארטו של ההוגנות והדיוק: אוסף הפתרונות שבהם אי אפשר לשפר מטרה אחת בלי לפגוע באחרת. עבור אילוצים ליניאריים, שיעור השגיאות האופטימלי כפונקציה של הפער המותר הוא קמור ולא עולה. המשמעות היא שהידוק דרישת ההוגנות אינו משפר את הדיוק האופטימלי, והמחיר השולי של צמצום נוסף בפער גדל ככל שמתקרבים לשוויון. התוצאה מספקת בסיס לבחירה מושכלת של רמת הפער, אך אינה קובעת איזו רמה ראויה חברתית. הרחבות כוללות מצב שבו המאפיין המוגן זמין באימון אך אסור לשימוש בחיזוי, סיכון שבו עלויות הטעויות אינן שוות, ושוויון דמוגרפי מוחלט עבור מאפיין מוגן בעל יותר משתי קטגוריות. עבור Equalized Odds מתקבל אפיון הכולל שני פרמטרים ואילוצים מצומדים. החוקרים מדגישים שאפיון תאורטי אינו מוביל תמיד לאלגוריתם פשוט: פתרון יעיל של המקרה מרובה האילוצים ושל הרחבות לקבוצות רבות דורש עבודה נוספת.

שלוש שיטות הנגזרות מהתאוריה

FUDS היא שיטת קדם־עיבוד המשנה את שיעורי הדגימה של תתי־הקבוצות המוגדרות באמצעות המאפיין המוגן והתווית. ההתפלגויות המותנות של המאפיינים בתוך תתי־הקבוצות נשמרות. התאוריה מזהה יחסים שעבורם המסווג האופטימלי ללא אילוץ על ההתפלגות החדשה הוא המסווג ההוגן האופטימלי על ההתפלגות המקורית. אפשר לממש את הרעיון בדגימת יתר וחסר או בשקלול דוגמאות. כדי להפחית תנודתיות ועומס חישובי, מוצעים שימוש חוזר בדגימות ועדכון הדרגתי בזמן האימון. FCSC פועלת במהלך האימון ומקצה עלויות שונות לטעויות לפי הקבוצה והתווית. העלויות נבחרות כך שמזעור הסיכון המתוקן יפיק את ספי ההחלטה הרצויים. FPIR פועלת לאחר האימון: תחילה אומדים את ההסתברויות המותנות לכל קבוצה, ואחר כך מתקנים את הספים. המונוטוניות מאפשרת חיפוש בינארי אחר פרמטר מתאים. בשתי שיטות האימון יש צורך בהתאמת המודל לאורך החיפוש; בשיטה שלאחר האימון אפשר להשתמש במודל שכבר אומן.

הניסויים והממצאים

בסימולציות נוצרו 10,000 דוגמאות אימון ו־5,000 דוגמאות בדיקה מהתפלגויות גאוסיות מותנות בקבוצה ובתווית. מבנה זה מאפשר לחשב פתרון אוכלוסייה ולהשוות אליו את שלוש השיטות המבוססות על רגרסיה לוגיסטית. השיטות עקבו מקרוב אחר החזית התאורטית. למשל, בדרישת שוויון דמוגרפי מוחלט, הדיוק התאורטי היה 72.7% והדיוק המעשי כ־72.2%, עם פער בדיקה ממוצע של כ־0.013. התוצאה ממחישה קרבה לאופטימום, אך גם סטייה מאפס במדגם סופי. ההשוואה האמפירית השתמשה ב־AdultCensus, COMPAS, LawSchool ו־ACSIncome ובשיטות מתחרות מכל שלבי ההתערבות. הניסויים חזרו על פיצולי אימון ובדיקה ועל אתחולים אקראיים. FUDS הציגה פשרה עדיפה ביחס לשיטות קדם־העיבוד שנבדקו, במיוחד ברמות פער נמוכות. FCSC בלטה ב־COMPAS והייתה תחרותית במאגרים האחרים. FPIR הייתה דומה ברובה לשיטות מתקדמות אחרות לאחר האימון. זמני הריצה היו תחרותיים, אך זמני התיקון שלאחר האימון אינם כוללים את אימון מודל הבסיס.

מגבלות ומשמעות

התרומה העיקרית היא תאורטית ומתודולוגית, ולא הבטחה מוכחת להוגנות בכל מערכת מעשית. האופטימליות תלויה בידיעת התפלגות האוכלוסייה, וביישום היא מושפעת מאיכות האמידה, מיכולת מודל הבסיס ומאופטימיזציית האימון. המאמר אינו מספק אפיון מלא של שגיאות והבטחות הוגנות במדגם סופי. הוא גם מניח זמינות מאפיינים מוגנים באימון. כיווני המשך כוללים מידע מוגן חלקי, נתונים סינתטיים ומספר רב יותר של קבוצות ואילוצים. מסקנתו היא שתיקוני דגימה, עלויות וספים יכולים לנבוע מאותו עיקרון אופטימלי.

היילייטס

  • מדדי הוגנות נפוצים ניתנים לייצוג ליניארי המאפשר לאפיין מסווגים הממזערים שגיאות תחת פער מותר שנקבע מראש.
  • במקרים הביליניאריים המרכזיים, הפתרון האופטימלי הוא כלל החלטה בעל ספים נפרדים לקבוצות, עם פרמטר שניתן לאמוד בחיפוש חד־ממדי.
  • אותה תאוריה מובילה לשלושה מנגנוני תיקון: דגימה מחדש לפני האימון, עלויות טעויות מותאמות במהלך האימון ותיקון ספים אחריו.
  • הפשרה האופטימלית בין שיעור השגיאות לבין הפער המותר היא קמורה: ככל שדורשים פחות פער, המחיר השולי בדיוק גדל.
  • בניסויים, FUDS בלטה מול שיטות קדם־עיבוד ברמות פער נמוכות; האופטימליות התאורטית אינה הבטחה אוטומטית להוגנות במדגם סופי.

שאלות נפוצות

כיצד אפשר לצמצם הטיות במודל סיווג בלי לוותר על דיוק שלא לצורך?

אפשר להגדיר פער מרבי מותר בין קבוצות במדד הוגנות נבחר, ואז לחפש את המסווג שממזער את שיעור השגיאות תחת המגבלה. כך, במקום לשנות את המודל בניסוי וטעייה, מגדירים יעד מדיד לצמצום הפער. המסגרת מאפשרת להתערב בשלושה שלבים: שינוי דגימת נתוני האימון, התאמת עלויות הטעויות במהלך האימון או תיקון ספי ההחלטה אחריו. האופטימליות התאורטית היא ברמת האוכלוסייה; ביישום מעשי נדרשת בדיקה על נתונים נפרדים.

למה אין מדד אחד שמתאים לכל בעיות ההוגנות בבינה מלאכותית?

מדדי הוגנות שונים משווים היבטים שונים של ההחלטות. שוויון דמוגרפי משווה את שיעורי ההחלטות החיוביות בין קבוצות; שוויון הזדמנויות משווה את שיעורי החיוביים האמיתיים; ושוויון בשיעורי חיוביים שגויים משווה את שיעורי הטעויות מסוג זה. Equalized Odds דורש את שני השוויונות האחרונים יחד. לכן, בחירת המדד צריכה להתאים להקשר ולמשמעות ההחלטה, למשל באשראי, בקבלה ללימודים או בהערכת סיכונים. עמידה במדד מסוים אינה כשלעצמה הוכחה להוגנות כוללת או לפתרון הסוגיות המשפטיות והאתיות.

כיצד אפשר לשפר את ההוגנות של מודל קיים בלי לאמן אותו מחדש?

אפשר להתאים את ספי ההחלטה לאחר האימון באמצעות שיטת FPIR. השיטה משתמשת באומדני ההסתברות של המודל ומתקנת את הספים כדי לעמוד במגבלת הפער שנבחרה. במקרים המרכזיים מתקבלים ספים נפרדים לקבוצות. הגישה מתאימה במיוחד כאשר כבר קיים מודל שמספק אומדני הסתברות טובים. היא חוסכת אימון מחדש של מודל הבסיס, אך איכות התוצאה תלויה באיכות האומדנים, ויש לאמת את הדיוק ואת הפערים על נתונים נפרדים.

כיצד אילוצי פער ליניאריים מאפשרים למצוא מסווג הוגן אופטימלי?

המסגרת מייצגת את סיכון הסיווג ואת אילוצי ההוגנות כביטויים ליניאריים בפלט המסווג. קשר ללמת ניימן–פירסון המוכללת מאפשר לאפיין כלל החלטה שממזער שגיאות תוך עמידה בפער המותר. במקרים הביליניאריים המרכזיים, הפתרון מצטמצם לספי החלטה נפרדים לקבוצות, הנשלטים באמצעות פרמטר יחיד. מכיוון שהפער משתנה באופן מונוטוני ביחס לפרמטר, ניתן לאמוד אותו בחיפוש חד־ממדי. אם המסווג הרגיל כבר עומד באילוץ, אין צורך לתקנו.

מהי ההשפעה של החמרת דרישות ההוגנות על דיוק הסיווג?

שיעור השגיאות האופטימלי הוא פונקציה קמורה ולא עולה של הפער המותר. כלומר, הקטנת הפער המותר אינה יכולה לשפר את הדיוק האופטימלי, והמחיר השולי בצמצום נוסף של הפער עשוי לגדול ככל שמתקרבים לשוויון. חזית הפשרה הזאת מאפשרת להשוות בין רמות הוגנות לבין אובדן דיוק אפשרי. עם זאת, היא אינה קובעת מהו הפער הראוי מבחינה חברתית, ואינה מבטיחה שהביצועים התאורטיים יושגו במדגם סופי.

מה ההבדל בין דגימה מחדש, אימון רגיש לעלויות ותיקון ספים להשגת הוגנות?

שלוש השיטות מיישמות אותו עיקרון אופטימיזציה בשלבים שונים:

  • FUDS — לפני האימון: משנה את שיעורי הדגימה של תתי־קבוצות המוגדרות לפי המאפיין המוגן והתווית, או משתמשת בשקלול דוגמאות.
  • FCSC — במהלך האימון: מקצה עלויות שונות לטעויות לפי הקבוצה והתווית.
  • FPIR — לאחר האימון: מתקנת ספי החלטה על בסיס אומדני ההסתברות של מודל שכבר אומן. בניסויים בארבעה מאגרי נתונים, FUDS בלטה מול שיטות קדם־העיבוד שנבדקו, במיוחד ברמות פער נמוכות. FCSC הייתה תחרותית ובולטת ב־COMPAS, ואילו FPIR הציגה לרוב ביצועים דומים לשיטות מתקדמות אחרות לאחר האימון. אין בכך הוכחה ששיטה אחת עדיפה בכל מערכת.

מחקרים קשורים