آیتیمن- قاعدهای در علوم کامپیوتر هست که میگوید: آشغال بدهی، آشغال میگیری (garbage in, garbage out) به این معنی که اگر دادههای ورودی نامناسب باشد، خروجی برنامههای نیز مفید نخواهد بود. بر همین مبنا، اگر خودروهای خودران را با میلیونها تصویر از افراد سفیدپوست، برای شناسایی هیات انسانی آموزش دهیم، سیستم ممکن است برای شناسایی افراد پیاده از نژادهای دیگر و رنگینپوستان با مشکل مواجه شود.
بررسی محققان موسسه فناوری جورجیا هم نتیجه مشابهی داشته است. آنها با بررسی کارایی سیستمهای دید ماشینی در شناسایی افراد پیاده با رنگ پوستهای مختلف، به این نتیجه هشدار دهنده رسیدند که سیستمهای هوش مصنوعی عموما در شناسایی افراد با رنگ پوست روشنتر، بهتر عمل میکنند. اختلاف در آمار شناسایی بهتر هم اندک نیست. یک مقایسه نشان داد که احتمال شناسایی درست افراد سفید پوست تا 10 درصد بالاتر از سیاهپوستهاست.
البته خودروهای خودران نخستین فناوری شکست خورده در مواجهه با غیرسفیدپوستان نیست. چندی پیش مشخص شد که سیستم شناسایی تصویر گوگل هم
نتوانست در تشخیص افراد سیاه پوست و گوریلها موفق عمل کند.
تقریبا تمامی طراحیهای محصول در مواجهه با واقعیت نژادهای انسانی ناموفق بودهاند؛ از فیلمهای رنگی کداک بگیر که پ
وست تیره را به یک لکه سیاه تبدیل میکرد تا
ابزارهای خشک کن بادی که با دست سفید فعال میشد ولی دستهای تیره را نمیشناخت.
شاید این ایرادها را بتوان کم اهمیت شمرد؛ اما یک کامیون 10 تنی خودران اگر خطای اینچنینی داشته باشد، خطرات بالایی خواهد داشت.
خبر خوب این که خودرانهای کنونی، همه بیش از یک نوع حسگر استفاده میکنند که اکثر آنها وابسته به نور مرئی نیست. برای مثال خودروهای تسلا دارای راداری در جلو هستند و وایمو از یک سیستم لیدار دقیق استفاده میکند. و اما خبر بد، فشار و درخواست بازار برای رفتن به سوی سیستمهای مبتنی بر دوربین، به منظور کاهش هزینههاست. چنین سیستم هایی تنها وقتی به صورت عمومی در جادهها و خیابانها مورد استفاده قرار میگیرند که امنتر بودن آنها نسبت به خودروهای دارای راننده اثبات شود. اما باز هم این سوال پابرجا خواهد بود که: امنتر برای چه کسی؟