تعصب در AI — وقتی الگوریتم منصف نیست

AI منصف به دنیا نمی‌آید. AI از داده‌ای که به او می‌دهی یاد می‌گیرد — و اگر آن داده تعصب داشته باشد، AI همان تعصب را با سرعت و مقیاس بیشتر تکرار می‌کند.

اگر رهبر یک پروژه AI هستی، این ریسک را نشناسی، ممکن است یک روز در دادگاه یا رسانه توضیح بدهی چرا سیستمت علیه یک گروه خاص تبعیض قائل شده.

فرض کن می‌خواهی مدلی بسازی که رزومه‌ها را رتبه‌بندی کند. اگر ۱۰ سال گذشته اکثر افرادی که استخدام شده‌اند مرد بوده‌اند — به هر دلیلی، از جمله عوامل بیرونی — مدل یاد می‌گیرد: «رزومه‌های شبیه به الگوی مردانه امتیاز بالاتر».

این تعصب عمدی کسی نبوده. مدل فقط الگوی تاریخی را تکرار کرده. مشکل اینجاست که وقتی AI این کار را می‌کند، به نظر «عینی» و «علمی» می‌رسد — در حالی‌که فقط تعصب گذشته را با لباس تکنولوژی دوباره پوشانده.

یکی از شرکت‌های بزرگ فناوری، سیستمی برای غربالگری رزومه ساخت. بعد از یک سال استفاده، متوجه شدند سیستم به رزومه‌هایی که کلمه‌ی «زنان» در آن‌ها بود — مثلاً «کاپیتان تیم شطرنج زنان» — امتیاز پایین‌تری می‌داد.

چرا؟ چون داده‌ی آموزشی از رزومه‌های ۱۰ سال گذشته آمده بود، و در آن دوره اکثر استخدام‌شدگان مرد بودند. مدل یاد گرفته بود این الگو را «موفقیت» تعریف کند.

شرکت مجبور شد کل پروژه را متوقف کند.

نکته‌ی کلیدی: تعصب معمولاً از قصد بد نمی‌آید — از داده‌ی تاریخی می‌آید که خودش نتیجه‌ی یک نابرابری قدیمی‌تر بوده.

قبل از استفاده از هر مدل، این سؤال‌ها را بپرس:

• داده‌ی آموزشی از کجا آمده؟ چه دوره‌ای، چه جمعیتی؟
• آیا گروه خاصی در داده کم‌نمایش داده شده؟
• نتیجه‌ی مدل را برای گروه‌های مختلف مقایسه کن — آیا نرخ رد یا قبول برای یک گروه به‌طور غیرمعمول بالاتر است؟
• کسی غیر از تیم فنی هم نتیجه را بررسی می‌کند؟ چشم دوم همیشه لازم است.

یک سیستم یا فرآیند تصمیم‌گیری در سازمانت را در نظر بگیر — می‌تواند دستی یا نیمه‌خودکار باشد. این سؤال را بپرس: «اگر این تصمیم را روی ۱۰۰۰ نفر با پیشینه‌های متفاوت تکرار کنیم، آیا نتیجه برای همه‌ی گروه‌ها منصفانه است؟» اگر مطمئن نیستی، همان‌جایی است که باید قبل از هر پیاده‌سازی AI بررسی دقیق‌تری انجام شود.