Исполнительный директор DataRobot говорит о «скромном» ИИ и регулировании

Источник · Перевод автора

Организации любого размера ускорили использование моделей искусственного интеллекта для продвижения инициатив по цифровой трансформации бизнеса. Но в отсутствие каких-либо четких правил многие из этих организаций не знают с уверенностью, выйдут ли однажды эти модели искусственного интеллекта в противоречие с новыми правилами искусственного интеллекта.

Тед Квартлер (Ted Kwartler), вице-президент Trusted AI в DataRobot, поговорил с VentureBeat о том, почему для моделей искусственного интеллекта критически важно делать прогнозы «смиренно», чтобы убедиться, что они не смещаются или когда-нибудь не противоречат правительственным постановлениям.

Это интервью отредактировано для краткости и ясности.

VentureBeat: Зачем нам нужен ИИ, чтобы быть скромными?

Тед Квартлер: Алгоритм должен демонстрировать смирение, когда он делает прогноз. Если я классифицирую рекламный баннер с вероятностью 50% или 99%, это примерно средний диапазон. У вас есть один единственный порог отсечки выше этой линии, и у вас есть один результат. Ниже этой линии у вас есть другой результат. На самом деле мы говорим, что есть промежуток между ними, где вы можете применить некоторые предостережения, поэтому человек должен это проверить. Мы называем этот скромный ИИ в том смысле, что алгоритм демонстрирует смирение, делая такой прогноз.

VentureBeat: Как вы думаете, организации понимают необходимость скромного ИИ?

Квартлер: Я думаю, организации просыпаются. Они становятся все более изощренными в своих дальновидных взглядах на бренд и репутационный риск. Эти инструменты обладают способностью усиливать. Команда, которую я помогаю руководить, действительно сосредоточена на том, что мы называем прикладной этикой искусственного интеллекта, где мы помогаем обучать наших клиентов подобному феномену мышления о последствиях; не только математика. Старшие руководители, возможно, не понимают математики. Может быть, они не понимают реализации. Но они определенно понимают последствия на стратегическом уровне, поэтому я думаю, что это новая область. Я думаю, что руководители высшего звена начинают осознавать, что существует больший риск для репутации и бренда.

VentureBeat: Как вы думаете, государственные регулирующие органы тоже начинают это понимать? И если да, то что вас беспокоит?

Квартлер: Это интересно. Если вы читали Закон об алгоритмической подотчетности ИИ, он написан очень широко. Это сложно, потому что у вас постоянно развивается технологический ландшафт. И в этом счете есть пороговые значения дохода в размере около 50 миллионов долларов, которые требуют оценки воздействия, если ваш алгоритм будет влиять на людей. Мне нравится идея четко определенных сценариев использования с высокой степенью риска. Это немного предписывает, но в хорошем смысле мне также нравится, что это совместная работа, потому что это развивающееся пространство. Вы хотите, чтобы все это соответствовало вашим общественным ценностям, а не создавало орудия угнетения. В то же время вы не можете просто подавить все это, потому что это показало экономический прогресс. Все мы извлекаем выгоду из технологий искусственного интеллекта. Это баланс.

VentureBeat: Заинтересованы ли руководители бизнеса в том, чтобы побудить правительства определять правила ИИ раньше, чем позже?

Квартлер: Сложность – неоднозначность. Организации готовы писать оценки воздействия. Они хотят получить стороннюю аудиторскую проверку своих моделей, находящихся в производстве. Они хотят использовать разные инструменты мониторинга. Уже существует множество средств мониторинга и моделирования управления рисками, но не для искусственного интеллекта, поэтому существуют механизмы, с помощью которых это может происходить. По мере улучшения технологий и вариантов использования, как вы затем корректируете то, что считается или составляет высокий риск? Необходимо найти баланс между экономическим процветанием и ограждениями, которые могут им управлять.

VentureBeat: Что думают об усилиях Европейского Союза по регулированию ИИ?

Квартлер: Я думаю, что технологи нового поколения приветствуют это сотрудничество. Это дает нам путь вперед. Что мне в нем действительно понравилось, так это то, что он не казался чрезмерным. Казалось, что это баланс между процветанием и безопасностью. Похоже, он пытался дать достаточно предписаний в отношении случаев использования с высоким уровнем риска. Это казалось очень аргументированным подходом. Он не хлопал дверью и не говорил: «ИИ больше нет». Это оставляет разработку ИИ, возможно, правительствам и организациям, которые действуют в неведении. Ты тоже этого не хочешь.

VentureBeat: Как вы думаете, пойдут ли США в том же направлении?

Квартлер: Мы будем интерпретировать это для наших собственных нужд. Это то, что мы делали в прошлом. В конце концов, у нас будет какая-то форма регулирования. Я думаю, что мы можем представить себе мир, в котором какой-то модельный аудит является реальной особенностью.

VentureBeat: Это было бы предпочтительной альтернативой 50 различным штатам, пытающимся регулировать ИИ?

Квартлер: Да. Есть даже правила, издаваемые в самом Нью-Йорке. В Калифорнии и Вашингтоне есть правила, которые сами по себе могут диктовать их для всей страны. Я был бы за все, что помогает прояснить двусмысленность, чтобы вся отрасль могла двигаться вперед.

VentureBeat: Как вы думаете, будет ли целая школа права, построенная на правилах и обеспечении соблюдения ИИ?

Квартлер: Я подозреваю, что хорошее регулирование действительно может помочь в качестве защитной меры. Я, конечно, не эксперт в области права, поэтому я не знаю, будут ли преследователи скорой помощи или нет. Я действительно думаю, что существует прецедент хорошего регулирования для защиты компаний. Как только это положение будет введено в действие, вы устраните двусмысленность. Это более безопасное место для организаций, которые хотят делать добро в мире, используя эту технологию.

VentureBeat: Есть ли у нас инструменты, необходимые для мониторинга ИИ?

Квартлер: Я бы сказал, что технология мониторинга технологий и математических уравнений для алгоритмической систематической ошибки существует. Вы также можете применять алгоритмы для определения характеристик данных и проверки качества данных. Вы можете применять методы. Вы также можете применить некоторые эвристики к – или после того, как модель находится в разработке и делает прогнозы – для уменьшения систематических ошибок или рисков. Алгоритмы, эвристика и математические уравнения могут использоваться в таком рабочем процессе.

VentureBeat: Предвзятость не может быть разовым событием. Нужно ли нам постоянно оценивать предвзятость модели ИИ по мере появления новых данных? Нужен ли нам какой-то набор передовых практик для оценки этих моделей ИИ?

Квартлер: Как только вы построите модель, что бы ни случилось, она окажется неправильной. Пандемия также показала нам, что исходные данные, которые вы используете для обучения модели, не всегда соответствуют реальному миру. Дело в том, что данные на самом деле дрейфуют. А когда он находится в производстве, у вас есть дрейф данных, или, в случае языка, у вас есть то, что называется дрейфом концепций. Я действительно думаю, что сейчас есть настоящий пробел. Наш опрос руководителей ИИ показал, что очень небольшое количество организаций на самом деле отслеживают модели в производстве. Я думаю, что это прекрасная возможность помочь этим ограждениям добиться правильного поведения. Я думаю, что сообщество уделяет много внимания модели поведения, когда я думаю, что нам нужно перейти к мониторингу и MLOps (операциям машинного обучения), чтобы вызвать доверие на более низком уровне и быть менее техническими.

VentureBeat: Как вы думаете, существует ли опасность, что бизнес будет оценивать модели ИИ на основе их оптимального результата, а затем просто работать в обратном направлении, чтобы добиться этого результата?

Квартлер: Что касается оценки модели, я думаю, что именно здесь может пригодиться хорошее сотрудничество для регулирования ИИ. Например, если вы работаете в сфере найма, вам необходимо использовать статистический паритет, чтобы гарантировать, что у вас есть равное представительство в защищенных классах. Это очень конкретный целевой показатель. Я думаю, это то место, куда нам нужно идти. Уполномоченные организации должны иметь общий ориентир. Нам нужна такая скорость и такая точность, но как они справляются с выбросами? Как это работает с набором дизайнерских решений, оставленных на усмотрение специалиста по данным в качестве эксперта? Давайте рассадим больше людей.

VentureBeat: Мы много слышим о фреймворках AutoML, которые используются, чтобы сделать ИИ более доступным для конечных пользователей. Какова роль специалистов по данным в организации, внедряющей AutoML?

Квартлер: Я очень предвзят в том смысле, что у меня есть степень магистра делового администрирования в области науки о данных. Я считаю, что специалисты по обработке данных, работающие изолированно, не приносят пользы, потому что их скорость вывода на рынок модели намного ниже, чем при использовании AutoML. Ученые не всегда видят истинное желание делового человека, пытающегося спонсировать проект. Они захотят построить модель и оптимизировать ее до шести десятичных знаков, хотя на самом деле это не имеет значения, если только вы не работаете в каком-то большом масштабе. Я твердо верю в AutoML, потому что он позволяет специалистам по обработке данных, составляющим прогнозы для колл-центров, встречаться с агентом колл-центра и учиться у них. Я говорю специалистам по данным, чтобы они посмотрели, где на самом деле собираются данные. Вы увидите всевозможные проблемы с целостностью данных, которые помогут вашей модели. Это труднее сделать, когда на создание индивидуальной модели уходит шесть месяцев. Если я смогу использовать AutoML, чтобы ускорить скорость, чтобы получить ценность, у меня есть эта роскошь, чтобы глубже погрузиться в сорняки.

VentureBeat: Внедрение ИИ пока идет относительно медленно. Ускоряет ли AutoML процесс?

Квартлер: Я работал в крупных ледниковых компаниях. Они двигаются медленнее. Сами модели были запущены в производство не больше года. Я бы сказал, что произойдет дрейф данных, если потребуется шесть месяцев на построение модели и шесть месяцев на ее внедрение. Модель не будет такой точной, как я думаю. Нам нужно увеличить эту скорость, чтобы сделать ее доступной для людей, которые ближе к бизнес-проблемам.