Языковые модели не могут ответить на вопросы без перефразирования данных обучения

Источник · Перевод автора

Задача ответа на вопрос в полной форме (LFQA, long-form question answering) включает в себя поиск документов, относящихся к заданному вопросу, и их использование для генерации ответа на этот вопрос длиной в параграф. Хотя недавно было предложено множество моделей машинного обучения для LFQA, работа остается сложной, как показывают недавние исследования исследователей из Массачусетского университета, Амхерста и Google, в соавторстве с ними.

Исследователи разработали систему LFQA, которая обеспечивает высочайшую производительность на популярном наборе данных. Но они обнаружили, что даже лучшие модели LFQA, включая их, не всегда дают ответы, основанные на документах, которые они извлекают, или демонстрируют их понимание.

Крупные языковые модели, такие как OpenAI GPT-3 и Google GShard, учатся писать человеческий текст, усваивая миллиарды примеров из общедоступной сети. Опираясь на такие источники, как электронные книги, Википедия и платформы социальных сетей, такие как Reddit, они делают выводы для полных предложений и даже целых абзацев. Но исследования демонстрируют ловушку такого подхода к обучению. Модели ответов на вопросы в открытой области – модели, теоретически способные отвечать на новые вопросы новыми ответами – часто просто запоминают ответы, содержащиеся в данных, на которых они обучаются, в зависимости от набора данных. Из-за этого языковые модели также могут предлагать показывать конфиденциальную личную информацию при вводе определенных слов и фраз.

В этом последнем исследовании соавторы оценили свою модель LFQA на ELI5, библиотеке Python, которая позволяет разработчикам визуализировать и отлаживать модели машинного обучения с помощью унифицированного API. Между данными, используемыми для обучения и тестирования модели, было значительное совпадение, до 81% были даны в перефразированной форме. Исследователи говорят, что это выявляет проблемы не только с ELI5, но и с моделью.

«[Наш] углубленный анализ выявляет [недостатки] не только нашей модели, но также набора данных ELI5 и показателей оценки. Мы надеемся, что сообщество будет работать над решением этих проблем, чтобы мы могли подняться по нужным холмам и добиться значимого прогресса», – написали они в статье.

Запоминание – не единственная проблема, с которой борются большие языковые модели. Недавние исследования показывают, что даже современные модели не могут правильно ответить на большинство математических задач. Например, в статье, опубликованной исследователями из Калифорнийского университета в Беркли, обнаружено, что большие языковые модели, включая OpenAI GPT-3, могут решать только от 2,9% до 6,9% проблем из набора данных из более чем 12 500. Сам OpenAI отмечает, что его флагманская языковая модель, GPT-3, помещает такие слова, как «непослушный» или «высосанный» рядом с женскими местоимениями, и «ислам» рядом с такими словами, как «терроризм». Статья доктора философии Стэнфордского университета. кандидат и основатель Gradio Абубакар Абид (Abubakar Abid) подробно описал антимусульманские тенденции текста, генерируемого GPT-3. А Центр международных исследований по терроризму, экстремизму и борьбе с терроризмом Института Миддлбери утверждает, что GPT-3 может надежно генерировать «информационный» и «влиятельный» текст, который может «радикализировать людей в сторону агрессивных ультраправых экстремистских идеологий и поведения».

Среди прочего, ведущий исследователь искусственного интеллекта Тимнит Гебру (Timnit Gebru) поставил под сомнение целесообразность построения больших языковых моделей, исследуя, кому они выгодны, а кто находится в невыгодном положении. В статье, написанной в соавторстве с Гебру ранее в этом году, подчеркивается влияние углеродного следа крупных языковых моделей на маргинализированные сообщества и их склонность к сохранению оскорбительной лексики, языка ненависти, микроагрессии, стереотипов и других бесчеловечных выражений, направленных на определенные группы людей.