Алгоритм обрезки изображений Twitter оттесняет пожилых людей, инвалидов и арабов

Алгоритм обрезки изображений Twitter оттесняет пожилых людей, инвалидов и арабов

Источник · Перевод автора

Алгоритм Twitter, который отдавал предпочтение светлокожим лицам, теперь, как было показано, увековечивает ряд дополнительных предубеждений.

Алгоритм оценивал, кого человек хотел бы увидеть первым на картинке, чтобы изображение можно было обрезать до подходящего размера в Twitter. Но от него отказались после того, как пользователи обнаружили, что он предпочитает белые лица черным.

Твиттер стремился выявить дальнейший потенциальный вред в этой модели, запустив первый в отрасли контент о вознаграждении с алгоритмической предвзятостью.

Победители конкурса, которые были объявлены в понедельник, обнаружили множество других вопросов.

Алгоритмические предубеждения Twitter

Богдан Кулинич (Bogdan Kulynych), получивший приз за первое место в размере 3500 долларов, показал, что алгоритм может усилить предубеждения в реальном мире и социальные ожидания красоты.

Кулинич, аспирант технического университета Швейцарии EPFL, исследовал, как алгоритм предсказывает, на какую часть изображения люди будут смотреть.

Исследователь использовал модель компьютерного зрения для создания реалистичных изображений людей с разными физическими особенностями. Затем он сравнил, какое из изображений предпочитает модель.

Кулинич сказал, что модель отдает предпочтение «людям, которые кажутся стройными, молодыми, со светлой или теплой кожей, гладкой текстурой и стереотипно женственными чертами лица»:

Эти внутренние предубеждения по своей сути приводят к вреду недостаточной репрезентативности, когда алгоритм применяется в условиях дикой природы, отсекая тех, кто не соответствует предпочтениям алгоритма по массе тела, возрасту, цвету кожи. Это предвзятость может привести к исключению меньшинств населения и увековечиванию стереотипных стандартов красоты в тысячах изображений.

Остальные участники конкурса выявили дополнительный потенциальный вред.

Второе место, HALT AI, обнаружило, что алгоритм иногда вырезает людей с седыми волосами, темной кожей или людей, использующих инвалидные коляски, в то время как занявшая третье место Роя Пакзад (Roya Pakzad) показала, что модель предпочитает латинский алфавит арабскому.

Алгоритм также имеет расовые предпочтения при анализе эмодзи. Винченцо ди Чикко (Vincenzo di Cicco), инженер-программист, обнаружил, что смайлы с более светлым оттенком кожи с большей вероятностью будут захвачены.

Охота за головами в ИИ

Множество потенциальных алгоритмических повреждений вызывает беспокойство, но подход Твиттера к их выявлению заслуживает похвалы.

Существует сообщество исследователей искусственного интеллекта, которые могут помочь смягчить алгоритмические предубеждения, но их редко поощряют так же, как хакеров, занимающихся безопасностью whitehat.

«На самом деле, люди годами выполняли такую работу самостоятельно, но не получали за это вознаграждения или оплаты», – сказал TNW Румман Чоудхури (Rumman Chowdhury) из Twitter перед началом конкурса.

Модель охоты за головами может побудить большее количество из них исследовать вред ИИ. Кроме того, оно может работать быстрее, чем традиционные академические публикации. Победитель конкурса Кулиныч отметил, что в этом быстром темпе есть как недостатки, так и сильные стороны:

В отличие от академических изданий, здесь, я думаю, не хватило времени на строгость. В частности, в моем представлении было много ограничений, которые следует учитывать в будущем анализе с использованием данной методологии. Но я думаю, что это хорошо.

Даже если некоторые материалы только намекают на возможность причинения вреда без строгих доказательств, подход «награды за ошибку» позволит выявить вред на раннем этапе. Если это будет развиваться так же, как награды за ошибки безопасности, это будет намного лучше для всех. Вредоносное программное обеспечение не будет оставаться там годами, пока не будут собраны строгие доказательства вреда.

Он добавил, что в подходе есть и ограничения. Примечательно, что алгоритмический ущерб часто является результатом дизайна, а не ошибок. Например, алгоритм, который распространяет кликбейт для максимального вовлечения, не обязательно будет содержать «ошибку», которую компания хочет исправить.

«Мы должны противостоять стремлению отнести все общественные и этические опасения по поводу алгоритмов к категории предвзятости, что является узкой рамкой, даже если мы говорим о дискриминационных эффектах», – написал Кулинич в Твиттере.

Тем не менее, конкурс продемонстрировал многообещающий метод снижения алгоритмического вреда. Это также предлагает более широкий круг точек зрения, чем одна компания может включить (или захочет) для исследования проблем.