Informatica расширяет возможности бессерверных вычислений до графических процессоров Nvidia

Источник · Перевод автора

Сегодня Informatica объявила, что интегрировала свой механизм интеграции облачных данных на основе вычислительной инфраструктуры Apache Spark в оперативной памяти с графическими процессорами (GPU) от Nvidia.

По словам Рика Тамм-Дэниелса (Rik Tamm-Daniels), вице-президента Informatica по стратегическим экосистемам и технологиям, альянс делает вычислительные мощности графических процессоров доступными с помощью набора визуальных инструментов для широкого круга экспертов в предметной области и специалистов по обработке данных, не требуя от них навыков программирования.

Хотя графические процессоры намного быстрее, когда дело доходит до обработки данных, никто не хочет писать код для вызова графического процессора, отметил Тамм-Дэниелс. Но количество людей, которым нужно создавать наборы данных, продолжает расти. По данным Gartner, в среднем 41% сотрудников, не связанных с ИТ, тем или иным образом настраивают наборы данных.

Informatica использует программное обеспечение NVIDIA RAPIDS Accelerator для Apache Spark для интеграции механизма интеграции облачных данных с графическими процессорами Nvidia. Эти усилия позволяют использовать встроенные возможности параллельной обработки графического процессора Nvidia для обработки данных в 5 раз быстрее, чем процессор x86, утверждает Тамм-Дэниелс.

Механизм интеграции облачных данных автоматически предоставляет все сопоставления, необходимые для вызова любого класса процессоров, работающих на Amazon Web Services (AWS). Сервис скоро будет доступен в Microsoft Azure и Google Cloud Platform (GCP), добавил Тамм-Дэниелс. Во многих случаях даже специалисты по данным, обладающие навыками программирования, предпочли бы воспользоваться бессерверным подходом.

По словам Тамм-Дэниэлса, в конечном итоге обработка данных и управление ими демократизируются благодаря развитию бессерверных вычислительных сред, основанных на вычислительных архитектурах, управляемых событиями. Как и другие облачные технологии, этот подход предназначен для масштабирования вверх и вниз по мере необходимости. По словам Тамм-Дэниэлса, организация может снизить общую стоимость вычислительных нагрузок с интенсивным использованием данных на 72%, поскольку нет необходимости предоставлять ИТ-инфраструктуру до тех пор, пока она не потребуется.

Как следствие, среды бессерверных вычислений скоро станут основным способом обработки больших объемов данных по запросу, добавил Тамм-Дэниелс. «Бессерверная версия предпочтительнее, – сказал он.

Может даже наступить день, когда поставщики облачных услуг, использующие механизм интеграции облачных данных, могут столкнуться с тем, что подрывают друг друга, чтобы обеспечить наименьшие затраты на обработку различных наборов данных в разное время дня.

До сих пор основным драйвером внедрения графических процессоров на предприятии были рабочие нагрузки искусственного интеллекта. Однако широкий спектр приложений для анализа данных, включая, например, клинические испытания, выиграет от сокращения времени, необходимого для обработки огромных объемов данных.

В долгосрочной перспективе непонятно, в какой степени внутренние ИТ-команды нуждаются или даже хотят участвовать в управлении заданиями по обработке данных, помимо первоначального предоставления ИТ-среды. Нет недостатка в других задачах, на которых ИТ-специалисты могли бы сосредоточиться, если бы они тратили меньше времени на написание кода, позволяющего обрабатывать данные на одной платформе, а не на другой. В то же время интеллектуальные работники всех уровней квалификации, к лучшему или худшему, находят способы обработки данных, не требующие прямого вмешательства внутренней ИТ-команды.

Независимо от того, кто обрабатывает эти данные, способ их обработки может кардинально измениться. Дни, когда и ИТ-администратор, и профильные эксперты, которые являются одними из самых высокооплачиваемых в любой организации, часами ждут завершения работы, подходят к концу, поскольку организации начинают понимать, насколько дороже труд по сравнению с вычислительным механизмом в системе.