Репозитории магазинов функций становятся опорой MLOps для развития ИИ

Репозитории магазинов функций становятся опорой MLOps для развития ИИ

Источник · Перевод автора

Битва за контроль над операциями машинного обучения (MLOps, machine learning operations) начинается всерьез, поскольку организации используют репозитории хранилищ функций для более эффективного построения моделей ИИ.

Хранилище функций по своей сути является хранилищем данных, через которое разработчики моделей ИИ могут совместно использовать и повторно использовать артефакты, составляющие модель ИИ, а также всю модель ИИ, которую, возможно, потребуется изменить или расширить. По идее, репозитории хранилища функций играют ту же роль, что и репозиторий Git, позволяя разработчикам более эффективно создавать приложения путем совместного использования и повторного использования кода.

Первыми пионерами репозиториев магазинов функций стали Uber, которая построила платформу под названием Michaelangelo, и Airbnb, которая создала магазин функций под названием Zipline. Но ни одна из этих платформ не доступна в виде открытого исходного кода. Ведущие поставщики репозиториев хранилищ функций, пытающиеся заполнить этот пробел, включают Tecton, Molecula, Hopsworks, Splice Machine и, совсем недавно, Amazon Web Services (AWS). Существует также проект магазина функций с открытым исходным кодом, получивший название Feast, в числе его участников – Google и Tecton.

Группе специалистов по анализу данных может потребоваться шесть месяцев или больше, чтобы построить единую модель искусственного интеллекта, поэтому давление с целью ускорения этих процессов растет. Организации, использующие модели искусственного интеллекта, не только хотят создавать их быстрее, но модели искусственного интеллекта, развернутые в производственных средах, также необходимо регулярно обновлять или заменять по мере изменения условий ведения бизнеса.

Однако сейчас менее ясно, в какой степени репозитории хранилищ функций представляют собой отдельную категорию, а не являются основополагающим элементом более крупной платформы MLOps. По мере того, как в эту категорию начинает поступать инвестиционный капитал, поставщики платформ для магазинов функций пытаются использовать обе возможности.

Splice Machine, например, предлагает платформу хранилища функций на основе SQL, которую организации могут развернуть отдельно от платформы для управления процессами обработки данных. «Важно сделать хранилище функций модульным, чтобы его можно было использовать в других средах», – сказал генеральный директор Splice Machine Монте Цвебен. «Я думаю, вы увидите, что магазины функций будут приняты обоими способами».

Однако со временем станет очевидно, что хранилища функций, так или иначе, должны быть частью более крупной платформы, чтобы приносить максимальную пользу, добавил он.

Компания Molecula, только что получившая дополнительное финансирование в размере 17,6 млн долларов, позиционирует свой магазин функций как отдельное предложение, а не только как основу, вокруг которой будут строиться процессы MLOps. Фактически, Molecula делает ставку на то, что хранилища функций, помимо обеспечения более эффективного построения моделей ИИ, также станут критически важными для создания любого типа расширенного аналитического приложения, сказал генеральный директор Molecula Х.О. Мэйкотт.

Он отметил, что для достижения этой цели Molecula построила собственную архитектуру хранилища, чтобы исключить все ручные процессы копирования и вставки, которые делают создание моделей искусственного интеллекта и других типов приложений расширенной аналитики таким громоздким сегодня. «Это касается не только MLOps, – сказал Мэйкотт. «Наш покупатель – инженер по обработке данных».

Тем временем Tecton, похоже, больше ориентирован на создание лучшей в своем классе экосистемы MLOps на основе своей платформы флагов основных функций. «Магазины функций будут в центре цепочки инструментов MLOps, – сказал генеральный директор Tecton Майк Дель Бальсо.

Однако на каждого из этих поставщиков бросают тень поставщики облачных услуг, которые сделают репозитории хранилищ функций доступными как услугу. Большинство моделей ИИ обучаются в общедоступном облаке из-за огромных объемов необходимых данных и стоимости требуемых графических процессоров (ГП). Добавление репозитория хранилища функций в облачную службу, которая уже используется для построения модели ИИ, является просто логическим расширением.

Однако поставщики платформ для магазинов функций утверждают, что распространение процессов MLOps на несколько облаков – это лишь вопрос времени. Многие корпоративные ИТ-организации собираются стандартизировать репозиторий хранилища функций, что упростит совместное использование моделей ИИ и их компонентов в нескольких облаках.

Независимо от того, как развивается MLOps, необходимость в централизованном репозитории для построения моделей ИИ стала очевидной. Проблема, которую корпоративные ИТ-организации должны решить сейчас, – это определить, какой подход сегодня имеет наибольший смысл, потому что какая бы платформа хранилища функций они ни выбрали сейчас, это будет иметь большое влияние на их стратегию ИИ на долгие годы.