هشت سال پس از بحث و جدل در مورد برچسب نادرست سیاهپوستان به عنوان گوریل توسط نرم افزار تجزیه و تحلیل تصویر – و با وجود پیشرفت های بزرگ در بینایی کامپیوتر – غول های فناوری هنوز از تکرار این اشتباه می ترسند.
هنگامی که گوگل در ماه مه 2015 اپلیکیشن مستقل Photos خود را منتشر کرد، مردم از کاری که می‌توانست انجام دهد شگفت‌زده شدند: تجزیه و تحلیل تصاویر برای برچسب زدن افراد، مکان‌ها و چیزهای موجود در آنها، یک پیشنهاد خیره‌کننده برای مصرف‌کننده در آن زمان. اما چند ماه پس از انتشار، یک توسعه‌دهنده نرم‌افزار به نام Jacky Alciné متوجه شد که گوگل عکس‌های او و یکی از دوستانش را که هر دو سیاهپوست هستند، به عنوان «گوریل» برچسب‌گذاری کرده است، اصطلاحی که به‌خصوص توهین‌آمیز است، زیرا تکرار قرن‌ها نژادپرستی است. استوانه ها
در جنجال های بعدی، گوگل از دسته بندی هر چیزی در Photos به عنوان گوریل توسط نرم افزار خود جلوگیری کرد و متعهد شد که این مشکل را برطرف کند. هشت سال بعد، با پیشرفت های قابل توجه در هوش مصنوعی، آزمایش کردیم که آیا گوگل این مشکل را حل کرده است یا خیر، و ابزارهای قابل مقایسه از رقبای خود را بررسی کردیم: اپل، آمازون و مایکروسافت.
یکی از اعضای خانواده نخستی‌سانان بود که گوگل و اپل توانستند او را بشناسند – لمورها، حیواناتی با ظاهر دائمی مبهوت و دم دراز که شست‌های مخالف انسان‌ها را به اشتراک می‌گذارند، اما نسبت به میمون‌ها از فاصله دورتری با هم مرتبط هستند.
ابزارهای گوگل و اپل در تحلیل تصویر به وضوح پیچیده‌ترین ابزارها بودند.
با این حال، گوگل، که نرم افزار اندروید آن زیربنای اکثر گوشی های هوشمند جهان است، به دلیل ترس از انجام یک اشتباه توهین آمیز و برچسب زدن به شخص به عنوان حیوان، تصمیم گرفته است که قابلیت جستجوی بصری برای نخستی ها را غیرفعال کند. و اپل، با فناوری‌هایی که در آزمایش ما عملکرد مشابهی با گوگل داشت، به نظر می‌رسد که توانایی جستجوی میمون‌ها و میمون‌ها را نیز غیرفعال می‌کند.
ممکن است مصرف کنندگان نیازی به انجام مکرر چنین جستجویی نداشته باشند – اگرچه در سال 2019، یکی از کاربران آیفون در انجمن پشتیبانی مشتری اپل شکایت کرد که این نرم افزار “نمی تواند میمون ها را در عکس های دستگاه من پیدا کند.” اما این موضوع سؤالات بزرگ تری را در مورد سایر نقص های اصلاح نشده یا غیرقابل اصلاح در کمین سرویس هایی که به بینایی رایانه ای متکی هستند – فناوری که تصاویر بصری را تفسیر می کند – و همچنین سایر محصولات مجهز به هوش مصنوعی ایجاد می کند.
آقای آلسینه وقتی فهمید که گوگل هنوز این مشکل را به طور کامل حل نکرده است ناراحت شد و گفت که جامعه بیش از حد به فناوری اعتماد دارد.
او گفت: “من برای همیشه به این هوش مصنوعی ایمان ندارم.”
محصولات بینایی رایانه در حال حاضر برای کارهای پیش پا افتاده ای مانند ارسال هشدار هنگامی که بسته ای در آستان وجود دارد، و به اندازه مسیریابی اتومبیل ها و یافتن عاملان در تحقیقات اجرای قانون استفاده می شود.
خطاها می توانند منعکس کننده نگرش های نژادپرستانه در میان کسانی که داده ها را رمزگذاری می کنند. در حادثه گوریل، دو کارمند سابق گوگل که روی این فناوری کار می‌کردند، گفتند مشکل این است که این شرکت عکس‌های کافی از سیاهپوستان را در مجموعه تصاویری که برای آموزش سیستم هوش مصنوعی خود استفاده می‌کرد، قرار نداده است. در نتیجه، این فناوری به اندازه کافی با افراد با پوست تیره آشنا نبود و آنها را برای گوریل ها اشتباه می گرفت.
همانطور که هوش مصنوعی بیشتر در زندگی ما گنجانده می شود، ترس از عواقب ناخواسته را برانگیخته است. اگرچه محصولات بینایی کامپیوتر و چت ربات‌های هوش مصنوعی مانند ChatGPT متفاوت هستند، اما هر دو به مجموعه‌ای از داده‌های زیربنایی که نرم‌افزار را آموزش می‌دهند، بستگی دارند، و هر دو ممکن است به دلیل نقص در داده‌ها یا سوگیری‌هایی که در کدشان گنجانده شده است، از کار بیفتند.
مایکروسافت اخیراً پس از تحریک مکالمات نامناسب، توانایی کاربران را برای تعامل با ربات چت تعبیه شده در موتور جستجوی خود، بینگ، محدود کرده است.
تصمیم مایکروسافت، مانند انتخاب گوگل برای جلوگیری از شناسایی گوریل‌ها توسط الگوریتم خود، نشان‌دهنده یک رویکرد رایج در صنعت است – به جای اصلاح آنها، ویژگی‌های فن‌آوری را که دچار نقص می‌شوند، کنار بگذارد.
ویسنته اوردونز، استاد دانشگاه رایس که بینایی کامپیوتری را مطالعه می کند، گفت: «حل این مسائل مهم است. “چگونه می توانیم به این نرم افزار برای سناریوهای دیگر اعتماد کنیم؟”
مایکل مارکونی، سخنگوی گوگل، گفت که گوگل از برچسب زدن میمون یا میمون به هر چیزی توسط اپلیکیشن عکس خود جلوگیری کرده است زیرا به این نتیجه رسیده است که این مزایا از خطر آسیب بیشتر نیست.
اپل از اظهار نظر در مورد ناتوانی کاربران در جستجوی اکثر پریمات ها در برنامه خود خودداری کرد.
نمایندگان آمازون و مایکروسافت گفتند که این شرکت ها همیشه به دنبال بهبود محصولات خود هستند.
دید بد
زمانی که گوگل در حال توسعه اپلیکیشن عکس خود بود که هشت سال پیش منتشر شد، تعداد زیادی عکس جمع آوری کرد تا سیستم هوش مصنوعی را برای شناسایی افراد، حیوانات و اشیاء آموزش دهد.
دو کارمند سابق گوگل گفتند که نظارت قابل توجه آن – که عکس های کافی از افراد سیاهپوست در داده های آموزشی آن وجود نداشت – باعث شد این برنامه بعداً عملکرد نادرست داشته باشد. به گفته کارمندان سابق، شرکت در آن زمان نتوانست مشکل “گوریل” را کشف کند زیرا از کارمندان کافی برای آزمایش این ویژگی قبل از عرضه عمومی آن درخواست نکرده بود.
گوگل شدیداً بابت حادثه گوریل ها عذرخواهی کرد، اما این یکی از تعدادی از قسمت های صنعت فناوری گسترده تر بود که منجر به اتهامات سوگیری شده است.
از دیگر محصولاتی که مورد انتقاد قرار گرفته‌اند می‌توان به وب‌کم‌های ردیاب چهره HP که قادر به تشخیص برخی از افراد با پوست تیره نیستند و اپل واچ که طبق یک دادخواست، سطح اکسیژن خون را در رنگ‌های پوست به درستی تشخیص نداد، اشاره کرد. این خطاها نشان می‌دهد که محصولات فناوری برای افرادی با پوست تیره‌تر طراحی نشده است. (اپل به مقاله ای از سال 2022 اشاره کرد که تلاش های خود را برای آزمایش برنامه اکسیژن خون خود بر روی “طیف گسترده ای از انواع و رنگ های پوست” شرح داد.)
به گفته یکی از آشنایان با این حادثه که در آن زمان در گوگل کار می کرد، سال ها پس از خطای Google Photos، این شرکت در طول آزمایش داخلی با مشکل مشابهی در دوربین امنیتی خانه Nest خود مواجه شد. دوربین Nest که از هوش مصنوعی برای تعیین آشنا یا ناآشنا بودن شخصی در یک ملک استفاده می کرد، برخی از سیاهپوستان را با حیوانات اشتباه گرفت. این شخص گفت که گوگل قبل از اینکه کاربران به محصول دسترسی پیدا کنند، برای رفع مشکل عجله کرد.
با این حال، مشتریان Nest همچنان در تالارهای گفتمان شرکت در مورد نقص های دیگر شکایت می کنند. در سال 2021، یک مشتری هشدار دریافت کرد که مادرش زنگ در را به صدا در می‌آورد اما مادرشوهرش را در آن طرف در پیدا کرد. هنگامی که کاربران شکایت کردند که سیستم چهره هایی را که آنها را به عنوان “آشنا” علامت گذاری کرده بودند مخلوط می کند، یک نماینده پشتیبانی مشتری در انجمن به آنها توصیه کرد که همه برچسب های خود را حذف کنند و از نو شروع کنند.
آقای مارکونی، سخنگوی گوگل، گفت که “هدف ما جلوگیری از این نوع اشتباهات است.” او افزود که این شرکت فناوری خود را «با همکاری با کارشناسان و تنوع بخشیدن به مجموعه داده های تصویری ما» بهبود بخشیده است.
در سال 2019، گوگل با افزایش تعداد افراد دارای پوست تیره در مجموعه داده های خود، سعی کرد ویژگی تشخیص چهره را برای گوشی های هوشمند اندرویدی بهبود بخشد. اما طبق گزارش‌ها، پیمانکارانی که گوگل برای جمع‌آوری اسکن صورت استخدام کرده بود، برای جبران کمبود داده‌های متنوع، به یک تاکتیک دردسرساز متوسل شدند: آنها افراد بی‌خانمان و دانش‌آموزان را هدف قرار دادند. مدیران گوگل در آن زمان این حادثه را “بسیار نگران کننده” نامیدند.
رفع؟
در حالی که گوگل در پشت صحنه برای بهبود این فناوری کار می کرد، هرگز به کاربران اجازه قضاوت درباره این تلاش ها را نداد.
مارگارت میچل، محقق و یکی از بنیانگذاران گروه هوش مصنوعی اخلاقی گوگل، پس از حادثه گوریل به این شرکت پیوست و با تیم Photos همکاری کرد. او در مصاحبه اخیر خود گفت که از طرفداران تصمیم گوگل برای حذف “برچسب گوریل ها، حداقل برای مدتی” بوده است.
دکتر میچل گفت: “شما باید به این فکر کنید که هر چند وقت یک‌بار یک نفر باید به یک گوریل برچسب بزند تا کلیشه‌های مضر را تداوم بخشد.” “مزایای آن بیشتر از مضرات بالقوه انجام اشتباه نیست.”
دکتر Ordóñez، پروفسور، حدس می‌زند که گوگل و اپل اکنون می‌توانند قادر به تشخیص نخستی‌ها از انسان باشند، اما آنها نمی‌خواهند این ویژگی را با توجه به خطر اعتبار احتمالی در صورت خرابی مجدد، فعال کنند.
گوگل از آن زمان یک محصول قدرتمندتر تجزیه و تحلیل تصویر به نام Google Lens را منتشر کرده است، ابزاری برای جستجوی وب با عکس به جای متن. Wired در سال 2018 کشف کرد که این ابزار همچنین قادر به شناسایی گوریل نیست.
دکتر میچل که دیگر در گوگل کار نمی‌کند، گفت: این سیستم‌ها هرگز بی‌خطر نیستند. از آنجایی که میلیاردها نفر از خدمات گوگل استفاده می کنند، حتی اشکالات نادری که تنها برای یک نفر از یک میلیارد کاربر رخ می دهد ظاهر می شود.
او گفت: «فقط یک اشتباه برای داشتن پیامدهای اجتماعی گسترده لازم است.
