Пизанский университет решает задачу ввода-вывода, которую создают приложения искусственного интеллекта

Источник · Перевод автора

В то время, когда рабочие нагрузки, в которых используются алгоритмы машинного и глубокого обучения, создаются и развертываются все чаще, организациям необходимо оптимизировать пропускную способность ввода-вывода таким образом, чтобы эти рабочие нагрузки могли экономично совместно использовать дорогостоящие ресурсы графического процессора, используемые для обучения моделей ИИ. Показательный пример: Университет Пизы, который неуклонно увеличивает количество графических процессоров, которые он делает доступными для исследователей ИИ в экологически чистом центре обработки данных, оптимизированном для приложений высокопроизводительных вычислений (HPC).

По словам технического директора Пизанского университета Маурицио Давини (Maurizio Davini), проблема, с которой университет столкнулся при развертывании ИИ, заключается в том, что алгоритмы машинного обучения и глубокого обучения, как правило, чаще делают запросы ввода-вывода к большему количеству файлов меньшего размера, чем традиционные приложения HPC. Чтобы приспособиться к этому, университет развернул программное обеспечение NVMesh от Excelero, которое может получать доступ к более чем 140000 небольших файлов в секунду на серверах Nvidia DGX A100 GPU.

Хотя Давини сказал, что в целом он рассматривает приложения ИИ как еще один тип рабочей нагрузки высокопроизводительных вычислений, способ доступа рабочих нагрузок ИИ к вычислительным ресурсам и ресурсам хранения требует специального подхода. По словам Давини, программное обеспечение NVMesh решает этот подход, разгружая все более частые запросы ввода-вывода, освобождая дополнительные вычислительные ресурсы на серверах Nvidia для обучения моделей ИИ.

«Мы хотели предоставить нашим исследователям ИИ лучший опыт», – сказал он.

Excelero входит в группу компаний, которые стремятся решить проблемы ввода-вывода, с которыми ИТ-отделы столкнутся при попытке сделать огромные объемы данных доступными для моделей ИИ. По мере того как количество моделей искусственного интеллекта, которые создают и поддерживают организации, начинает расти, устаревшие системы хранения не успевают за ними. По словам Давини, Пизанский университет развернул Excelero, чтобы убедиться, что общий опыт ИТ-исследователей в области ИИ остается удовлетворительным.

Конечно, более эффективные подходы к управлению вводом-выводом только начинают решать проблемы управления данными, с которыми столкнутся организации, которые создают свои собственные модели искусственного интеллекта. ИТ-команды обычно управляют данными как расширением приложения, используемого для их создания. Такой подход является основной причиной того, что на предприятии разбросано так много разрозненных данных.

Еще более проблематичным является тот факт, что большая часть данных в этих разрозненных хранилищах конфликтует, поскольку разные приложения могли отображать название компании по-разному или могли не быть обновлены с использованием самых последних данных транзакций. Наличие единого источника правды о клиенте или событии в любой конкретный момент времени остается неуловимым.

Однако модели искусственного интеллекта требуют для правильного обучения огромных объемов точных данных. В противном случае модели будут генерировать рекомендации, основанные на неточных предположениях, поскольку данные, которым были подвергнуты алгоритмы машинного обучения, были либо непоследовательными, либо ненадежными. ИТ-организации решают эту проблему, сначала вкладывая значительные средства в огромные озера данных для нормализации всех своих данных, а затем применяя лучшие процессы DataOps, как указано в манифесте, в котором описывается, как автоматизировать как можно больше задач по подготовке и управлению данными.

Устаревшие подходы к управлению данными, основанные на ручном копировании и вставке, являются одной из основных причин, по которой создание модели ИИ занимает так много времени. Командам по анализу данных повезет, если они смогут внедрять две модели искусственного интеллекта в год. Поставщики облачных услуг, такие как Amazon Web Services (AWS), предлагают такие продукты, как Amazon SageMaker, для автоматизации построения моделей ИИ, увеличивая темпы создания моделей ИИ в предстоящие месяцы.

Но не каждая организация возьмется за создание моделей ИИ в облаке. Для этого необходимо хранить данные на внешней платформе, что создает ряд потенциальных проблем с соблюдением нормативных требований, которых можно избежать. Например, Пизанский университет считает, что легче убедить чиновников выделить бюджет для местного центра обработки данных, чем дать разрешение на доступ к внешнему облаку, отметил Давини.

В конечном итоге цель состоит в том, чтобы устранить трения в управлении данными, которые долгое время были чумой для ИТ, путем принятия набора процессов DataOps, которые по своей природе аналогичны лучшим практикам DevOps, широко применяемым для оптимизации разработки и развертывания приложений. Однако все лучшие мировые практики не будут иметь большого значения, если базовая платформа хранения просто слишком медленная, чтобы успевать за ней.