Федералната комисия по търговия в отчета си за поверителност припомни случая „Rite Aid“, определен от комисар Алваро Бедоя като алгоритмичната несправедливост, която наранява хората
Федералната комисия по търговия (FTC) отчете дейността си за защита на поверителността и сигурността на данните за 2023 г. В текста се припомня делото срещу Rite Aid по обвинения, че компанията не е предприела разумни стъпки, за да гарантира, че технологията за лицево разпознаване с изкуствен интелект, внедрена в нейните магазини, не маркира погрешно хората като крадци или други нарушители.
Тогава комисар Алваро Бедоя, написа за случая, че има някои решения, които изобщо не трябва да бъдат автоматизирани; много технологии никога не трябва да се внедряват. Той отбеляза в изявлението си, че в магазините на компанията много клиенти – хора, пазаруващи за храна, лекарства и други основни стоки – са били неправомерно претърсени, обвинени и изгонени от магазините, заради грешки на технологията за лицево разпознаване. Понякога са били унижавани пред своите шефове, колеги или семейства. Този случай е част от по-широка тенденция на алгоритмична несправедливост, подчертава Бедоя.
В решението на FTC пише, че от 2012 г. до 2020 г. Rite Aid внедрява технология за лицево разпознаване, базирана на изкуствен интелект, за да идентифицира клиенти, които може да са участвали в кражби от магазини или друго проблемно поведение. Компанията не е взела разумни мерки за предотвратяване на увреждане на потребителите, които в резултат на това са били погрешно обвинени от служителите в неправомерни действия, тъй като технологията за разпознаване на лица лъжливо маркира потребителите като съвпадащи с някой, който преди това е бил идентифициран като крадец от магазин или друг проблемен човек.
Действията на Rite Aid са причинили на потребителите неудобство, тормоз и други вреди. Компанията не е информирала потребителите, че използва технологията в своите магазини и служителите не са разкривали такава информация. Служителите, действайки въз основа на фалшиви положителни сигнали, следват потребителите из магазините, претърсват ги, нареждат им да напуснат, викат полицията и публично ги обвиняват, понякога пред приятели или семейство, в кражба от магазин или други неправомерни действия, пише FTC.
Според решението Rite Aid е сключила договор с две компании, за да помогне за създаването на база данни с изображения на лица – считани за „представляващи интерес лица“, тъй като Rite Aid вярва, че са участвали или са се опитали да участват в престъпна дейност, заедно с техните имена и друга информация, като например данни за криминално минало. Компанията събра десетки хиляди изображения на хора, много от които с ниско качество и от охранителни камери на Rite Aid, камерите на телефоните на служителите и дори новините.
Системата генерира хиляди фалшиво положителни съвпадения, казва FTC. Например, технологията понякога съпоставя клиенти с хора, които първоначално са били записани в базата данни въз основа на дейност на хиляди километри, или маркира едно и също лице в десетки различни магазини в Съединените щати. Според FTC Rite Aid не успява да смекчи потенциалните рискове за потребителите от погрешното им идентифициране, включително повишени рискове за определени потребители поради тяхната раса или пол. Пред да се внедри технологията трябва да се тества, оцени, измери, документира, да се провери точността на технологията за лицево разпознаване, да се потърси информация от доставчика й за степента, до която технологията е била тествана за точност. Трябва да се предотврати използването на изображения с ниско качество във връзка с технологията за разпознаване на лица, увеличавайки вероятността от фалшиво положителни сигнали за съвпадение.
Редовно трябва да се наблюдава или тества точността на технологията, след като е била внедрена, както и са се обучат адекватно служителите, натоварени с работата с технологията за лицево разпознаване в магазините и да се отбележи, че технологията може да генерира фалшиви положителни резултати.
Дори след като Rite Aid премина към технология, която позволява на служителите да съобщават за „лошо съвпадение“ и изисква служителите да я използват, компанията не предприе действия, за да гарантира, че служителите следват тази политика, пише FTC.
От компанията е изискано да изтрие всички изображения или снимки, които са събрали поради системата за лицево разпознаване на Rite Aid, както и всички алгоритми или други продукти, които са разработени с помощта на тези изображения и снимки. Да уведомява потребителите, когато тяхната биометрична информация е записана в база данни, използвана във връзка с биометрична система за сигурност или наблюдение и когато Rite Aid предприеме някакво действие срещу тях въз основа на изход, генериран от такава система. Писмени отговори на потребителски оплаквания относно действия, предприети срещу тях, свързани с автоматизирана биометрична сигурност или система за наблюдение. Осигуряване на ясно известие до потребителите относно използването на лицево разпознаване или друга технология за биометрично наблюдение в обектите. Да изтрие всяка биометрична информация, събрана за пет години, както и прилагане на програма за сигурност на данните, за да защити и защити личната информация, която събира, съхранява и споделя със своите доставчици.
FTC изисква и независими оценки от трета страна на фирмената програма за информационна сигурност; и предоставяне пред нея на годишно удостоверение от нейния главен изпълнителен директор, документиращо придържането на Rite Aid към разпоредбите на заповедта.