Борьба за душу машинного обучения

Источник · Перевод автора

В прошлый вторник Google опубликовал пост в блоге, в котором рассказывается о взглядах трех цветных женщин на справедливость и машинное обучение. Я полагаю, что команда по связям столкнулась с трудностями: на следующий день NBC News сообщила, что инициативы в области разнообразия в Google сводятся на нет из-за опасений по поводу консервативной обратной реакции, согласно восьми нынешним и бывшим сотрудникам, выступившим на условиях анонимности.

Эта новость привела к тому, что члены Совета по технической ответственности House отправили письмо генеральному директору Сундару Пичаю (Sundar Pichai ) в понедельник. Ссылаясь на роль Google в качестве лидера в техническом сообществе США, группа из 10 демократов задала вопрос, почему, несмотря на корпоративные обязательства на протяжении многих лет, разнообразие Google все еще отстает от разнообразия населения Соединенных Штатов. Участники собрания из 10 человек специально задали вопрос, проходят ли сотрудники Google, работающие с ИИ, дополнительное обучение смещению.

На вопрос VentureBeat представитель Google не ответил на вопросы, заданные членами Конгресса, но сказал, что любое предположение о том, что компания свернула инициативы по разнообразию, «категорически неверно». Пичай назвал разнообразие «фундаментальной ценностью» для компании. Со своей стороны, исследователь этики Google ИИ Тимнит Гебру (Timnit Gebru), одна из трех женщин, представленных в блоге Google, изложила свои чувства по этому поводу в Twitter.

Наем практикующих ИИ из разных слоев общества рассматривается как способ уловить предвзятость, заложенную в системы ИИ. Многие компании, занимающиеся искусственным интеллектом, говорят о важности разнообразия. То, что Google делает или не делает, выделяется как одна из крупнейших и наиболее влиятельных компаний в области ИИ на планете и может быть своего рода лидером индустрии ИИ. И прямо сейчас, компания сокращает инициативы по разнообразию в то время, когда налаживаются четкие связи между стартапами ИИ надзора и альт-правыми или белыми группами превосходства. Компании с задокументированным алгоритмическим уклоном, такие как Google, а также компании, связанные с альт-правыми группами, похоже, действительно любят правительственные контракты. Это большая проблема во все более разнообразной Америке. Заинтересованные стороны в этом мире ИИ могут игнорировать эти проблемы, но они только усугубят и рискуют не просто кризисом общественного доверия, но практическим ущербом в жизни людей.

Отмеченные сокращения программ разнообразия в Google имеют большее значение, чем практически в любой другой компании в мире. Google начал большую часть современной тенденции разглашения отчетов о корпоративном разнообразии, в которых прописано количество цветных женщин и людей в своих рядах. Согласно отчету Google о разнообразии за 2020 год, примерно 1 из 3 сотрудников Google – женщины, тогда как 3,7% – афроамериканцы, 5,9% – латиноамериканцы и 0,8% – коренные американцы.

Застойный, медленный прогресс в области разнообразия технологий имеет гораздо большее значение сегодня, чем в прошлом, когда практически все технологические компании – особенно такие, как Amazon, Google и Microsoft – называют себя компаниями ИИ. Технология, а точнее ИИ, страдает от того, что ИИ называют «проблемой белого парня». Анализ и аудит огромного количества моделей искусственного интеллекта показали наличие предвзятости по признаку расы, пола и ряда других характеристик. Так или иначе, искусственный интеллект, созданный белыми парнями, часто лучше всего работает на белых парнях.

В новостях о разнообразии и программах включения Google недавно появились откровенные репортажи о стартапах ИИ, занимающихся слежкой, – Banjo и Clearview. Основатель и генеральный директор Banjo Дэмиен Паттон ( Damien Patton) ушел в отставку ранее в этом месяце после того, как OneZero сообщил, что он был членом белой группы сторонников превосходства, которая участвовала в расстреле синагоги. По данным Deseret News, контракт на 21 миллион долларов с сотрудниками первой помощи в штате Юта находится на пересмотре.

И в статье под названием «Крайне правые помогли создать самую мощную в мире технологию распознавания лиц», Huffington Post сообщила о широких связях Clearview с белыми сторонниками превосходства, включая сотрудника, чей интерес к распознаванию лиц связан с желанием выследить людей в Соединенные Штаты незаконно. ИИ Clearview удалил миллиарды изображений из Интернета, чтобы обучить свою систему распознавания лиц, и недавно решил работать исключительно с правительственными и правоохранительными органами.

То, что некоторые дороги ИИ ведут обратно к президенту Трампу, не должно вызывать удивления. Крупнейшим индивидуальным донором кампании Трампа в 2016 году был ранний исследователь искусственного интеллекта Роберт Мерсер (Robert Mercer). Основатель Palantir Питер Тиль (Peter Thiel) выразил свою поддержку президенту Трампу на сцене Национального съезда республиканцев в 2016 году, и его компания получает сотни миллионов долларов в виде государственных контрактов. Также есть Cambridge Analytica, компания, которая поддерживает тесные связи с официальными лицами кампании Трампа, такими как Мерсер и Стив Бэннон (Steve Bannon).

И когда несколько дней назад сооснователь OpenAI Илон Маск (Elon Musk) отдыхал от ссор с главой теорий искусственного интеллекта Facebook в Twitter, он подтолкнул людей «принять красную таблетку», известную фразу из «Матрицы», которая была присвоена людьми с расизмом или сексистскими убеждениями.

Также на этой неделе: Исследователь машинного обучения Абеба Бирхейн (Abeba Birhane), лауреат премии Best Paper на семинаре Black in AI на NeurIPS 2019 за ее работу по реляционной этике для решения проблемы предвзятости, сказала следующее:

«Последние несколько дней преследования расистских евгенистов заставили меня осознать, что расистских чудаков больше, чем вы думаете, в академических кругах, распространяющих давно дискредитированную лженауку. По совпадению, машинное обучение возрождает эту ужасную историю».

Оглядываясь назад на эпизоды Banjo и Clearview, исследования Института AI Now Сары Майерс Уэст утверждают, что расистские и сексистские элементы существуют в сообществе машинного обучения с самого его начала.

«Нам нужно долго и пристально смотреть на очарование крайне правых среди некоторых представителей технологической индустрии, ставя политику и сети тех, кто создает и извлекает выгоду из систем ИИ, в центре нашего анализа. И мы должны взять себя в руки: нам не понравится то, что мы находим», – сказала она в Medium post.

Это одна сторона ИИ прямо сейчас.

С другой стороны, в то время как Google делает шаги назад в разнообразии, а стартапы со связями с белыми сторонниками превосходства ищут правительственные контракты, другие в сообществе по этике искусственного интеллекта работают над тем, чтобы превратить неопределенные принципы, которые были установлены в последние годы, в реальные действия и политику компании. , В январе исследователи из Google, в том числе Gebru, выпустили платформу для внутренних аудитов компаний по моделям искусственного интеллекта, которая предназначена для устранения пробелов подотчетности в организациях.

Поступательный импульс

Члены сообщества машинного обучения указывали на признаки большей зрелости на таких конференциях, как NeurIPS, а в недавнем ICLR приняли участие разнообразные группы основных докладчиков и сообщество машинного обучения Африки. На TWIMLcon в октябре 2019 года группа практиков машинного обучения поделилась мыслями о том, как применять этику ИИ. И в последние недели исследователи ИИ предложили ряд конструктивных способов, которыми организации могут претворить этические принципы в жизнь.

В прошлом месяце специалисты по искусственному интеллекту из более чем 30 организаций составили список из 10 рекомендаций по претворению в жизнь принципов этики, в том числе за предвзятость, которые сродни ошибкам за программное обеспечение безопасности. Группа также предложила создать стороннюю аудиторскую площадку, чтобы стимулировать воспроизводимость и проверять заявления компании о производительности системы ИИ. Работа группы является частью более масштабных усилий, направленных на повышение доверия к ИИ, проверку результатов и обеспечение «полезных социальных результатов от ИИ». В отчете утверждается, что «существующих норм и правил в промышленности и научных кругах недостаточно для обеспечения ответственного развития ИИ».

В своем программном выступлении на полностью цифровой ICLR социолог и автор Race After Technology Руха Бенджамин (Ruha Benjamin) утверждал, что глубокое обучение без исторического или социального контекста является «поверхностным обучением». Принимая во внимание понятие против черноты в системах ИИ и новый Кодекс Джима, Бенджамин призвал создавать ИИ, который расширяет возможности людей, и подчеркнула, что компании ИИ должны рассматривать разнообразный найм как возможность для создания более надежных моделей.

«Антиисторический и асоциальный подход к глубокому обучению может захватывать и сдерживать, может навредить людям. Исторически и социологически обоснованный подход может открыть возможности. Он может создавать новые настройки. Он может кодировать новые ценности и опираться на критические интеллектуальные традиции, которые постоянно развивают понимание и стратегии, основанные на справедливости. Я надеюсь, что мы все найдем способы развить эту традицию», – сказала она.

Анализ, опубликованный в Proceedings Национальной академии наук в прошлом месяце, действительно показал, что женщины и люди цвета в академических кругах производят научную новизну с более высокими показателями, чем белые мужчины, но эти вклады часто «обесцениваются и обесцениваются» в контексте найма и продвижения по службе.

Борьба за душу ИИ бушует, так как алгоритмическое управление или ИИ, используемые правительством, растут в интересе и реальных приложениях. Использование алгоритмических инструментов может увеличить, поскольку многие правительства во всем мире, такие как правительства штатов в США, сталкиваются с дефицитом бюджета из-за COVID-19.

Совместное исследование Stanford-NYU, опубликованное в феврале, показало, что только 15% алгоритмов, используемых правительством США, считаются очень сложными. В отчете сделан вывод о том, что правительственным учреждениям нужно больше внутренних талантов для создания пользовательских моделей и оценки ИИ от сторонних поставщиков, и предупреждается о кризисе доверия, если люди сомневаются в том, что ИИ используется государственными органами. «Если граждане поверят, что системы искусственного интеллекта сфальсифицированы, политическая поддержка более эффективного и технически подкованного правительства быстро испарится», – говорится в отчете.

Тематическое исследование о том, как Microsoft, OpenAI и демократические страны мира в ОЭСР превращают этические принципы в действия, также предупреждает, что правительства и компании могут столкнуться с растущим давлением, чтобы претворить свои обещания в жизнь. «Растет давление на компании и организации, занимающиеся искусственным интеллектом, с тем, чтобы они предприняли усилия по внедрению, и те субъекты, которые воспринимаются как отклоняющиеся от своих заявленных намерений, могут столкнуться с негативной реакцией со стороны сотрудников, пользователей и широкой общественности. Принятые сегодня решения о том, как применять принципы ИИ в масштабе, будут иметь важные последствия на десятилетия вперед, и заинтересованные стороны ИИ получат возможность извлечь уроки из существующих усилий и предпринять конкретные шаги для обеспечения того, чтобы ИИ помогал нам строить лучшее будущее», – говорится в отчете.

Предвзятость и лучшие ангелы

Когда Google, одна из крупнейших и влиятельных компаний в области искусственного интеллекта на сегодняшний день, урезает инициативы по разнообразию после публичного преследования ЛГБТ-работников прошлой осенью, это дает четкое сообщение. Будут ли компании ИИ, как и их технические коллеги, склоняться к политическим ветрам?

Расовое смещение было обнаружено в производительности автоматического распознавания речи от Apple, Amazon, Google и Microsoft. Исследования, опубликованные в прошлом месяце, показали, что популярные алгоритмы машинного обучения с предварительной подготовкой, такие как BERT от Google, содержат предвзятость от расы и пола до религиозной или профессиональной дискриминации. Предвзятость также была задокументирована при обнаружении объектов и распознавании лиц, а в некоторых случаях это негативно сказывалось на найме, медицинском обслуживании и финансовом кредитовании. Алгоритм оценки риска, который использует Министерство юстиции США, присваивает более высокие оценки рецидивизма темнокожим в тюрьмах – известным горячим точкам COVID-19, что влияет на досрочное освобождение.

Люди, которым небезразлично будущее ИИ и его использование в улучшении человеческой жизни, должны быть откровенными и испуганными из-за размытой грани между тем, является ли предвзятый ИИ продуктом подлинных расовых экстремистов или равнодушных (в основном) белых мужчин. Для цветного человека, принимающего это предубеждение, вопрос о том, был ли расизм сформирован активно или пассивно, не имеет большого значения.

Сообщество ИИ должно решить, что оно не может двигаться такими же медленными темпами прогресса в области разнообразия, как и более широкая индустрия технологий, и оно должно учитывать опасность распространения «белого дефолта» во все более разнообразном мире. В этом контексте в ближайшие месяцы стоит наблюдать за тем, как Юта рассматривает свой контракт на сумму 21 млн долларов с Banjo, который в настоящее время рассматриваются государственными чиновниками. Они также должны решить, в порядке ли они, используя технологию наблюдения, созданную расистом.

Другой, конечно же, Google. Сможет ли Google добиться значительного прогресса в области найма и удержания разнообразия или просто проигнорирует наследие своей свернутой неявной программы обучения предвзятости Sojourn и позволит ране нарастать? Также стоит посмотреть, как Google жаждет правительственных контрактов. Недавно компания наняла Джоша Маркузе (Josh Marcuse) в качестве главы стратегии и инноваций для глобального государственного сектора, включая военные контракты. Маркузе был директором Совета по оборонным инновациям (DIB), группы, сформированной в 2016 году, которая прошлой осенью создала этические принципы ИИ для Министерства обороны США. Бывший председатель Google Эрик Шмидт (Eric Schmidt) был председателем DIB, который руководил процессом разработки принципов. Тесные связи Шмидта с Силиконовой долиной и Пентагоном по инициативам машинного обучения были задокументированы в недавней статье New York Times.

Также следите за Конгрессом, где законы о конфиденциальности данных, предложенные в последние месяцы, требуют дополнительного изучения алгоритмического предубеждения. Закон о защите прав потребителей в Интернете (Consumer Online Privacy Rights Act, COPRA), поддержанный демократами Сената, сделает алгоритмическую дискриминацию незаконной в сфере жилья, занятости, кредитования и образования и позволит людям подать иск в суд за неправомерное использование данных.

И затем возникает вопрос о том, как само сообщество ИИ отреагирует на предполагаемое изменение Google и медленный или поверхностный прогресс в области разнообразия. Будут ли люди настаивать на большем разнообразии в искусственном интеллекте или приписывать это мелочам, как пример за примером алгоритмического уклона, который лишает доверие отрасли, как печального, неудачного и неправильного, но ничего не делать? Вопрос о том, говорить или ничего не делать, был недавно поднят автором и историком «Души Америки» Джоном Мичемом (Jon Meacham). В разговоре с Кара Свишер (Kara Swisher), Мичем, который ведет новый подкаст под названием «Надежда сквозь историю», сказал, что история Соединенных Штатов не является «ностальгической сказкой» и никогда не была. Мы нация многолетней борьбы, где сохраняются системы апартеида.

Он говорит, что изменения, вызванные такими событиями, как движение за гражданские права, произошли не тогда, когда сильные решили что-то сделать, а когда бессильные убедили сильных сделать правильные вещи. Другими словами, дуга моральной вселенной «не склоняется к справедливости, если нет людей, настаивающих на том, что она движется к справедливости», сказал он.

Будущее

По оценкам переписи населения США, Соединенные Штаты являются разнообразной страной, которая не будет иметь расового большинства в ближайшие десятилетия, и это уже верно во многих городах. По оценкам ООН, в ближайшие десятилетия Африка станет самым молодым континентом на Земле, и на ее долю будет приходиться большая часть населения планеты до 2050 года.

Строить на будущее буквально означает строить и инвестировать с учетом разнообразия. Нам всем следует избегать выяснения того, что происходит, когда системы, о которых известно, что они лучше всего работают для белых людей, внедряются в мире, где большинство людей не являются белыми людьми.

Техник не одинок. Образование также сталкивается с проблемами разнообразия, и в журналистике редакции часто не отражают разнообразие своей аудитории. Базовая математика «за спиной» говорит о том, что компании, которые не осознают ценность разнообразия, могут пострадать, поскольку мир продолжает расти более разнообразно.

ИИ, который делает невозможными ранее невозможные вещи для людей с ограниченными возможностями или который решает такие безграничные проблемы, как изменение климата и COVID-19, обращается к нашему человечеству. Такие инструменты, как технология искусственного интеллекта для устойчивого глобального развития, которые десятки исследователей искусственного интеллекта выпустили ранее на этой неделе, привлекают наших лучших ангелов.

Если источники, говорящие с NBC News при условии анонимности, точны, Google теперь должен решить, пересмотреть ли инициативы разнообразия, которые приносят результаты или продолжают бизнес как обычно. Но даже если это не сегодня или в ближайшем будущем, если компания не сможет действовать, это может вызвать требования со стороны все более разнообразной базы потребителей или даже общественного движения.

Идея создания более широкого движения, требующего прогресса в связи с отсутствием разнообразия технологий, возникла раньше. В своей речи на конференции Afrotech об экосистеме черных технологий в США доктор Фэллон Уилсон (Fallon Wilson) говорил о необходимости движения черных технологий, чтобы противостоять отсутствию прогресса в направлении разнообразия технологий. Уилсон сказал, что такое движение может включать такие группы, как Лига алгоритмического правосудия, и черпать вдохновение в предыдущих социальных движениях в США, таких как движение за гражданские права. Если такое движение когда-либо нарастало бойкот, как движение за гражданские права в 1960-х годах, будущая демография женщин или цветных людей могла бы охватить большинство населения.

Алгоритмическая дискриминация сегодня широко распространена, и кажется, что это не просто приемлемый результат для некоторых, но желаемый результат. ИИ должен быть построен с учетом следующего поколения. На пересечении всех этих вопросов находятся правительственные контракты, и создание инструментов, которые работают для всех, должно быть неоспоримым вопросом права. Политика, которая требует системных проверок и требует регулярных отчетов государственного надзора, должна стать краеугольным камнем правительственных приложений ИИ, которые взаимодействуют с гражданами или принимают решения о жизни людей. В противном случае существует риск кризиса доверия.

Среди политических журналистов популярно высказывание: «Все правительства лгут». Подобно тому, как правительства несут ответственность, неслыханно богатые технологические компании, которые стремятся вести дела с правительствами, также должны показывать некоторые квитанции. Потому что, будь то завтра, месяцы или годы, люди будут продолжать требовать прогресса.