Исследователи подробно описывают системные проблемы и риски для общества в языковых моделях

Источник · Перевод автора

Исследователи из Google DeepMind обнаружили серьезные недостатки в выводе крупных языковых моделей, таких как GPT-3, и предупреждают, что они могут иметь серьезные последствия для общества, например, способствовать обману и усиливать предвзятость. Примечательно, что соавторы статьи, посвященной исследованию, говорят, что большие языковые модели могут распространять вред без злого умысла со стороны авторов. Другими словами, этот вред может распространяться случайно из-за неправильных указаний относительно того, чему агент должен учиться, или из-за процесса обучения модели.

«Мы считаем, что языковые агенты несут в себе высокий риск причинения вреда, поскольку дискриминация легко сохраняется через язык. В частности, они могут влиять на общество таким образом, чтобы создать привязку к ценностям, что затрудняет оспаривание существующих проблемных норм», – говорится в статье. «В настоящее время у нас не так много подходов к исправлению этих форм неправильной спецификации и связанных с этим поведенческих проблем».

В документе предполагается, что языковые агенты могут также способствовать «подстрекательству к насилию» и другим формам общественного вреда, особенно со стороны людей с политическими мотивами. Агенты также могут использоваться для распространения опасной информации, например, о том, как изготавливать оружие или уклоняться от уплаты налогов. В ярком примере из работы, опубликованной прошлой осенью, GPT-3 призывает человека совершить самоубийство.

Документ DeepMind – это самое последнее исследование, в котором высказываются опасения по поводу последствий развертывания больших языковых моделей, созданных с использованием наборов данных, извлеченных из Интернета. Самая известная статья на эту тему называется «Об опасностях стохастических попугаев: могут ли языковые модели быть слишком большими?» и был опубликован в прошлом месяце на конференции «Справедливость, подотчетность и прозрачность» авторами, в число которых входят бывшие соруководители команды Google по этическому ИИ Маргарет Митчелл и Тимнит Гебру. В данной статье утверждается, что языковые модели, размер которых, кажется, увеличивается, увековечивают стереотипы и несут экологические издержки, которые, скорее всего, будут нести маргинальные группы.

В то время как Google уволил обоих своих исследователей, которые предпочли оставить свои имена на бумаге, и потребовал, чтобы другие ученые-исследователи Google удалили свои имена из статьи, в которой был сделан аналогичный вывод, исследование DeepMind цитирует статью о стохастических попугаях среди связанных работ.

Ранее в этом году в документе OpenAI и исследователей Стэнфордского университета подробно описывалась встреча экспертов из таких областей, как информатика, политология и философия. Группа пришла к выводу, что такие компании, как Google и OpenAI, которые контролируют крупнейшие известные языковые модели в мире, имеют всего несколько месяцев, чтобы установить стандарты этического использования технологии, пока не стало слишком поздно.

Статья DeepMind объединяет серию работ, в которых подчеркиваются недостатки НЛП. В конце марта около 30 предприятий и университетов со всего мира обнаружили серьезные проблемы при аудите пяти популярных многоязычных наборов данных, используемых для машинного перевода.

В документе, написанном об этом аудите, было обнаружено, что в значительной части оцениваемых основных частей набора данных менее 50% предложений были приемлемого качества, по мнению более чем 50 добровольцев из сообщества НЛП.

Компании и организации, перечисленные в качестве соавторов этого документа, включают Google и Intel Labs из Китая, Европы, США и многих стран Африки. Соавторы включают Университет Сорбонны (Франция), Университет Ватерлоо (Канада) и Университет Замбии. Также участвовали основные сторонники открытого исходного кода, такие как EleutherAI, которая работает над копированием GPT-3; Обнимающее лицо; и проект Masakhane по производству машинного перевода для африканских языков.

Во время аудита возникли постоянные проблемы с неверно маркированными данными, и волонтеры обнаружили, что сканирование 100 предложений на многих языках может выявить серьезные проблемы с качеством даже для людей, не владеющих языком.

«Мы оценили выборки из 205 языков и обнаружили, что на 87 из них есть менее 50% пригодных для использования данных», – говорится в статье. «По мере роста масштабов исследований машинного обучения становится все труднее проверять автоматически собранные и тщательно отобранные наборы данных».

В документе также делается вывод о том, что построение моделей НЛП с наборами данных, автоматически извлекаемыми из Интернета, является многообещающим, особенно в решении проблем, с которыми сталкиваются языки с низким уровнем ресурсов, но сегодня очень мало исследований о данных, автоматически собираемых для языков с низким уровнем ресурсов. Авторы предлагают ряд решений, таких как документация, рекомендованная в документе Google о стохастических попугаях, или стандартные формы обзора, такие как таблицы данных и типовые карточки, предписанные Гебру, или структура этикеток для набора данных.

Из других новостей, исследователи из Amazon, ChipBrain и MIT обнаружили, что тестовые наборы из 10 наиболее часто цитируемых наборов данных, используемых исследователями ИИ, имеют средний коэффициент ошибок меток 3,4%, что влияет на результаты тестов.

На этой неделе организаторы NeurIPS, крупнейшей в мире конференции по машинному обучению, объявили о планах создать новый трек, посвященный тестам и наборам данных. Сообщение в блоге, объявляющее эту новость, начинается с простого заявления: «Нет хороших моделей без хороших данных».

Годовой отчет 2021 AI Index, в котором делается попытка определить тенденции в академических кругах, бизнесе, политике и производительности системы, в прошлом месяце показал, что ИИ быстро индустриализируется. Но он назвал отсутствие тестов и методов тестирования основным препятствием для прогресса сообщества искусственного интеллекта.