Как масштабировать ИИ с высокой степенью настройки

Источник · Перевод автора

В предыдущем посте я выделил четыре проблемы масштабирования ИИ: настройка, данные, талант и доверие. В этом посте я подробнее расскажу об этой первой задаче настройки.

Масштабирование программ машинного обучения сильно отличается от масштабирования традиционного программного обеспечения, потому что они должны быть адаптированы к любой новой проблеме, которую вы решаете. Поскольку данные, которые вы используете, изменяются (будь то из-за того, что вы решаете новую проблему или просто потому, что прошло время), вам, вероятно, придется создавать и обучать новые модели. Это требует участия человека и контроля. Степень контроля различается, и это очень важно для понимания проблемы масштабируемости.

Вторая проблема заключается в том, что людям, участвующим в обучении модели машинного обучения и интерпретации результатов, требуются специфические для предметной области знания, которые могут быть уникальными. Таким образом, кто-то, кто обучил успешной модели для одного бизнес-подразделения вашей компании, не обязательно сможет сделать то же самое для другого бизнес-подразделения, где ему не хватает знаний в предметной области. Более того, способ интеграции системы машинного обучения в рабочий процесс в одном бизнес-подразделении может сильно отличаться от того, как она должна быть интегрирована в другом, поэтому вы не можете просто воспроизвести успешное развертывание машинного обучения в другом месте.

Наконец, соответствие системы искусственного интеллекта бизнес-целям может зависеть от группы, которая ее разрабатывает. Например, рассмотрим систему искусственного интеллекта, предназначенную для прогнозирования оттока клиентов. Две организации с одной и той же целью могут нуждаться в совершенно разных реализациях. Во-первых, их наборы данных для обучения будут структурированы по-разному в зависимости от того, как организованы данные их системы управления взаимоотношениями с клиентами (CRM). Далее, каждая организация может иметь разные предметно-ориентированные знания о влиянии сезонности – или других факторов – на продажу конкретных продуктов, что не всегда отражается в данных; им нужно будет привлечь людей, чтобы оптимизировать эти параметры.

И это только технические соображения. Другие соображения возникают на стороне бизнес-процессов. Компания, предоставляющая цифровые онлайн-услуги, будет рассматривать проблему оттока клиентов практически в режиме реального времени, требуя, чтобы ее система искусственного интеллекта имела дело с наборами потоковых данных и быстрыми выводами. Но бутик-магазин одежды может позволить себе роскошь работать с ежемесячными или ежеквартальными показателями оттока, поэтому его системы искусственного интеллекта можно заставить работать с пакетами данных, а не с потоковыми наборами данных, что значительно снижает сложность развертывания.

Из-за уникальных требований к техническим и бизнес-процессам, с которыми сталкивается каждый бизнес, ясно, что настройка является ключевым моментом для любого высокопроизводительного развертывания ИИ. Покупка готовых решений, не оптимизированных для ваших конкретных нужд, означает компромисс в отношении производительности и результатов.

Стоимость необходимости «перекомпоновывать» системы ИИ каждый раз, для каждой проблемы, для каждого клиента – это не только системные затраты и затраты на человеческие часы, но и совокупные затраты на временной лаг между запуском нового проекта ИИ и возможностью извлекать пользу из этой реализации. Вот почему большинство центров передового опыта в области искусственного интеллекта, созданных в крупных организациях, не оправдывают своих первоначальных ожиданий, хотя они являются необходимой частью создания индивидуальных возможностей искусственного интеллекта. Вдобавок ко всему, когда система искусственного интеллекта запущена и находится в рабочем состоянии, ее обслуживание, оптимизация и управление – еще одна постоянная проблема.

Тем не менее, есть возможность масштабировать проекты ИИ. Для этого требуется портфельный подход к вашей стратегии искусственного интеллекта. Вот как выглядит этот подход:

  1. Создайте модульный уровень инфраструктуры ИИ для повторного использования и воспроизводимости. Легче сказать, чем сделать, это означает стратегическое обращение к инструментам построения моделей, библиотекам и интегрированным средам разработки. Если оставить без внимания широкий спектр опций и предпочтений исследователей / инженеров, это может привести к архитектурному кошмару. Успешные организации, с которыми я работал, внедряют базовую инфраструктурную стратегию на основе процесса стандартизации и модульности. Это означает стандартизованный набор рекомендаций по обучению и вычислительной инфраструктуре (облако или локальная среда, графические процессоры и процессоры), стандартный набор библиотек, рекомендации по упаковке моделей и требования интеграции на уровне API для всей разработки машинного обучения в организации. Цель состоит в том, чтобы разделить на модули, чтобы ускорить окупаемость за счет повторного использования, но без ущерба для гибкости.
  2. Стимулируйте сотрудничество в рамках всей организации. Этого можно достичь с помощью 2 конкретных шагов: во-первых, создать внутренний рынок для всех активов машинного обучения и данных. Это означает, что любая команда предприятия может внести свой вклад в разработку машинного обучения для повторного использования с четкими инструкциями по использованию. Помимо того, что это отличный способ управлять результатами инвестиций в ИИ, это также способствует накоплению знаний в организации и создает форум, где люди могут улучшать инновации друг друга. Во-вторых, дайте возможность как вашим специалистам по данным, так и нетехническим пользователям быстро экспериментировать и развертывать различные варианты использования. Помимо библиотеки инструментов, здесь могут помочь такие методы, как Auto-ML. Для этого необходимо преодолеть операционную сложность упаковки моделей машинного обучения и снизить барьер для экспериментов.
  3. Ограничьте время своих экспериментов с ИИ. Все мы слышали об ужасных успехах проектов машинного обучения и искусственного интеллекта. Чтобы преодолеть эти разногласия, требуется здоровая экспериментальная среда, ориентированная на инновации вокруг новых проблем и бизнес-вариантов использования с быстрым путем к проверке гипотез (определение того, какие из них соответствуют критериям для внедрения). Крайне важно планировать эти эксперименты на короткие спринты разработки с очень четкими критериями, которые можно постоянно оценивать, чтобы увидеть, имеет ли смысл продвигать проект или нет. Один из подходов состоит в том, чтобы оценить все ваши проекты / варианты использования ИИ по двум направлениям – ожидаемая ценность для бизнеса и время, необходимое для внедрения в производство (из-за сложности сбора данных, необходимого опыта в предметной области и т. д.) – и использовать это как руководство по расстановке приоритетов в проектах по временным рамкам. Важно четко определить пороговые значения для количественной оценки ожидаемой стоимости бизнеса, затрат / времени на запуск в производство, а также наличия данных и опыта.

Настройка критически важна для получения результатов с помощью ИИ, но она не должна вас тормозить. Если вы создадите правильную модульную инфраструктуру и если бизнес-подразделения в вашей организации смогут согласовать свои действия для реализации инициатив в области ИИ с акцентом на быстрые итерации и эксперименты, настройка может стать отличным ускорителем и окончательным ключом к достижению масштабного ИИ.