Служба сбора измененных данных Meroxa работает с Apache Kafka и другими

Источник · Перевод автора

Meroxa запустила среду «платформа как услуга» (PaaS) с плоскостью управления, которая использует алгоритмы машинного обучения для управления данными в реальном времени. Это произошло после того, как компания собрала 15 миллионов долларов в раунде серии A.

Meroxa разработала платформу PaaS, с помощью которой ИТ-организации вызывают плоскость управления, которая обеспечивает службу сбора данных об изменениях, интегрированную с такими платформами, как Apache Kafka. Эти основные возможности затем расширяются с помощью набора механизмов правил, которые позволяют автоматизировать повторяющиеся инженерные задачи, сказал VentureBeat генеральный директор Meroxa ДеВарис Браун. ИТ-команды смогут получить доступ к этой плоскости управления через визуальный интерфейс или вызывать ее программно через набор интерфейсов прикладного программирования (API), которые предоставляет Meroxa.

Спрос на автоматизацию

По мере того, как организации стремятся ускорить инициативы по цифровой трансформации бизнеса, многие обнаружили, что для этих проектов требуется способность регулярно перемещать огромные объемы данных между приложениями, которые обеспечивают выполнение данного процесса. Это потребовало найма инженеров по данным, обладающих навыками программирования, чтобы организовать движение этих данных. Meroxa позволяет среднему ИТ-администратору или разработчику теперь управлять потоками данных между приложениями. По словам Брауна, помимо снижения общей стоимости инициатив в области цифрового бизнеса, скорость выполнения этих проектов теперь может быть значительно увеличена.

«Любой может быть инженером по обработке данных», – сказал он.

Meroxa применяет многие принципы автоматизации DevOps, которые впервые были применены при разработке приложений, для проектирования конвейеров данных. Обычно это рассматривается как задача обслуживания ИТ, которая требует от человека владения нюансами инструментов извлечения, преобразования и загрузки (ETL). Но люди с навыками инжиниринга данных сейчас являются одними из самых востребованных ИТ-специалистов, а количество ИТ-специалистов с такими навыками ограничено.

Оркестровка конвейера данных

Необходимость в более быстрой организации конвейеров данных становится все более острой, поскольку большинство инициатив по цифровой трансформации бизнеса обычно требуют обработки и анализа данных почти в реальном времени. Пакетно-ориентированные прикладные процессы заменяются приложениями, способными получать потоковые данные непосредственно с таких платформ, как Kafka. Однако этот переход будет расширен, если каждой организации потребуется найти, нанять и удержать специалистов по проектированию данных.

Возможность автоматизировать сужение конвейеров данных также позволит большему количеству организаций успешно реорганизовать процессы. Многие небольшие организации просто не могут позволить себе нанять специального специалиста по обработке данных или заключить контракт с фирмой, предоставляющей ИТ-услуги, чтобы предоставить его.

Возможно, пройдет еще немного времени, прежде чем ИТ-команды начнут регулярно создавать конвейеры данных между приложениями и процессами. Однако история ИТ изобилует примерами, когда область ИТ-специалиста была включена в функцию, которую может выполнять ИТ-специалист широкого профиля с использованием некоторой формы платформы, которая автоматизирует задачу. Конструкция конвейеров данных в конечном итоге не будет исключением.

В целом Meroxa привлекла финансирование на сумму 19,2 миллиона долларов от инвесторов, среди которых Drive Capital, Root, Amplify, Hustle Fund, Village Global, Meritech Capital, Sequoia, Kleiner, Addition, Menlo и Index Ventures.

Среди других инвесторов – бывший генеральный директор Heroku Адам Гросс; Технический директор GitHub Джейсон Уорнер; бывший технический директор сегмента Кэлвин Френч-Оуэн; и Ник Колдуэлл, вице-президент по разработке Twitter.