קאתי אוניל (AKA mathbabe) כתבה את הספר הזה לאחר קריירה שנעה בין אקדמיה (מתמטיקה) לוול סטריט ולבסוף לאקטביסטית באוקיופי. ( occupy movement)

הספר מציג את הנזק שגורמים מודלים מתמטים המתבססים על big data בתחומים רבים (ומתרבים) של חיינו.

מה יש שם?

פרסום – פרסומות להלוואות שמטרגטות את הנואשים ביותר, דרוג מורים על פי נוסחאות מבוססות ציונים, טבלת דרוג של קולג'ים אמריקאים איך היא נולדה ואיך היא מטלטלת שם את כל המערכת,
דרוג מסוכנות בענישה בבתי משפט, קבלה לעבודה, סידור משמרות, דרוג אשראי, ביטוח
ועוד כמה דברים שבטח שכחתי.

הנה תמצות (ותרגום) מראיון איתה.

"אני מגדירה בתור "Weapon of Math Destruction" אלגוריתמים עם שלושה מאפיינים עיקריים – הם נפוצים, מסתוריים והרסניים. נפוצים מאחר שאני מתעניינת רק באלגוריתמים שמשפיעים על אנשים רבים ויש להם השלכות משמעותיות לגביהם. כך שאם אלגוריתם מחליט אם מישהו יקבל עבודה, יכנס לכלא לתקופה ארוכה יותר או יקבל הלוואה זה עניין משמעותי.

אני קוראת לWMD מיסתוריים מכיוון שהאלגוריתמים שאני כותבת עליהם בספר סודיים. הם מגיעים מנוסחאות נסתרות ששייכות לחברות פרטיות ושומרים עליהם כאילו היו "רכיב סודי". זה אומר שאנשים שמושפעים על ידי הציונים שלהם לא יודעים איך הציונים שלהם חושבו ולעיתים הם אפילו לא יודעים שהם מדורגים בכלל.

יחד עם הסודיות הזו מגיע חוסר מחוייבות למתן דין וחשבון ( lack of accountability ) של הגופים שמפעילים את שיטות הדרוג האלו וכמובן שלא קיים תהליך ערעור. בסופו של דבר איך את יכולה לערער על ציון שלא ידעת שחושב ואיך את יכולה לטעון שהציון שגוי אם אין לך גישה לדרך שבה חושב הציון.

לבסוף האלגוריתמים האלו הם הרסניים, שיטות הדרוג שהם מפעילים הורסות חיים של אנשים."

כמה נקודות שאני זוכר:

הספר טוב, קריא, משכנע, מעורר כעס ומחשבה.
מומלץ במיוחד לאנשים שהם חסידי דאטה.

קצת הגיגים:
לפעמים הישום הוא פשוט רע
הרצון לעבוד על פי דאטה שמרגיש נכון ואוביקטיבי, גובר על העובדה שדאטה כזה לא קיים.
לדוגמא ישום נוסחאות כדי לדרג מורים.
נוסחאות ערך מוסף / Value Added
בגדול לראות מה היו ציוני הכניסה של כיתה שנכנסה אל המורה ומה היו הציונים בסוף השנה.
העניין הוא – שלא מדובר כאן על הרבה נתונים.
יכולה להיות כיתה שהגיעה מבית ספר שניפח ציונים – והמורה שקיבל אותם יקבל ציון נמוך מאוד בדרוג. מורים שמדורגים על ידי שיטות כאלו, מתארים חוסר יציבות בציון. (השנה אתה מורה מצויין, שנה הבאה כושל וחוזר חלילה)
יש כאן רעב פוליטי של המערכת לאיזה אורקל – מישהו שיפתור את הבעיה הקשה של טיוב מערכת החינוך.

בנוסף יש כאן התעלמות מחוק שצריך להיות אקסיומה בשדה הזה של מטריקות ומדידת אנשים
חוק קמפבל

"The more any quantitative social indicator is used for social decision-making, the more subject it will be to corruption pressures and the more apt it will be to distort and corrupt the social processes it is intended to monitor."

או כמו שב the wire קוראים לזה, numbers game.

הדוגמא הכי חזקה בספר של הטלטלה שמייצרת מערכת מדידה היא דוגמת דירוג הקולג'ים האמריקאי. איך הוא נולד כמעט במקרה ואיך הוא מעצב את המערכת מאז.

קיצור, מומלץ.

לינקים נוספים:

1. אורקה – סוכנות יעוץ שהיא הקימה לחברות בקשר להגינות וחשיפה משפטית של האלגוריתמים שבהם הם משתמשים. algorithmic auditing

2. Data and Society :

research institute focused on the social and cultural issues arising from data-centric technological development