Премия InfoWorld «Технология года — 2025»: Управление данными: конвейеры

ИТ-индустрия находится в состоянии кардинальных изменений под влиянием двух ключевых факторов: массового прихода генеративного ИИ и автономных агентов, преобразующих разработку, и пересмотра самого подхода к данным в пользу унифицированных платформ, открытых стандартов и потоковой обработки. Вместе эти направления создают новую реальность, где полная автоматизация дополняется всеобъемлющим контролем, формируя обновлённое равновесие между скоростью и надёжностью.

Эти тренды находят своё воплощение в решениях, отмеченных премией InfoWorld «Технология года». В 2025 году в номинации «Управление данными: конвейеры» победу одержали продукты, которые выходят за рамки простой передачи информации. Они обеспечивают создание интеллектуальных, семантически связанных потоков данных, работающих в реальном времени. Такие решения формируют готовую к аналитике цифровую основу для бизнеса, где данные автоматически обогащаются контекстом и обеспечивают безопасность на всех этапах движения.

Управление данными: конвейеры — победители и финалисты

• Prophecy, Prophecy — победитель
• Airbyte Open Source, Airbyte — финалист
• DataPelago Accelerator for Spark, DataPelago — финалист

Prophecy от Prophecy — победитель

Prophecy — это AI-native платформа для подготовки и анализа данных, которая позволяет аналитикам и бизнес-пользователям самостоятельно создавать и запускать в работу производственные конвейеры данных, не дожидаясь помощи инженеров.

Платформа построена вокруг специализированных AI-агентов, которые взаимодействуют с пользователем на естественном языке и выполняют ключевые задачи:

• Discover Agent помогает находить нужные наборы данных, сравнивать их и проводить первичный визуальный анализ.
• Transform Agent генерирует, проверяет и оптимизирует шаги рабочих процессов (workflows) для преобразования данных.
• Document Agent автоматически создает и поддерживает документацию для конвейеров и даже формирует отчеты по регуляторным шаблонам.

Агенты превращают идеи пользователя в наглядные визуальные конвейеры, которые легко понять, проверить и доработать. Платформа также автоматизирует рутинную работу, такую как исправление ошибок (функция Fix Diagnostics позволяет одним кликом автоматически исправить проблемы в конвейере с помощью AI Copilot) и генерация кода (визуальные конвейеры автоматически компилируются в чистый, готовый к использованию код (например, SQL или PySpark) с полной версионностью).

Prophecy организует работу по принципу Generate, Refine, Deploy (Сгенерировать, Уточнить, Развернуть):

1. Сгенерировать: Агент создает первый черновик конвейера за минуты на основе вашего описания.
2. Уточнить: Вы визуально проверяете и доводите конвейер до 100% готовности, сотрудничая с командой.
3. Развернуть: Платформа автоматически развертывает отлаженный конвейер в production на вашей облачной инфраструктуре (Databricks, Snowflake, BigQuery) с учетом всех требований к управлению и масштабированию.

Prophecy позволяет различным ролям в компании эффективно работать вместе на единой платформе. С ее помощью бизнес-аналитики могут самостоятельно получать данные и строить конвейеры, общаясь с AI на естественном языке. Инженеры данных получают сгенерированный, готовый к работе код, который легко интегрируется в CI/CD-процессы и системы контроля версий (как Git), и могут сосредоточиться на сложных архитектурных задачах. Руководители выигрывают за счет ускорения получения бизнес-инсайтов и снижения операционной нагрузки на инженерные команды.

Этот подход не один раз получил признание в отрасли: в 2025 году Gartner назвал Prophecy «крутым вендором» (Cool Vendor) в области управления данными.

Мнение судей: «Prophecy» — это редкое сочетание технической глубины, ориентированного на пользователя дизайна и средств управления корпоративного уровня. Благодаря интеллектуальному использованию ИИ-помощников, визуальному редактированию и компиляции кода это решение обладает уникальной мощностью, особенно в крупных организациях, которым нужна безопасная аналитика с возможностью самообслуживания в больших масштабах. Оно меняет подход к обработке данных».

Airbyte Open Source от Airbyte — финалист

Airbyte Open Source — это платформа для интеграции данных, которая решает одну из ключевых проблем инженерии данных — «длинный хвост» коннекторов к разнородным источникам. Её ядро — открытый код и сообщество, которое самостоятельно создаёт, адаптирует и поддерживает коннекторы, используя Connector Development Kit (CDK) или low-code-инструменты.

Платформа построена по принципу ELT (Extract, Load, Transform). Она извлекает данные из источника, загружает их в целевое хранилище в сыром виде, а трансформации выполняются уже внутри хранилища, например, с помощью интегрированного dbt. Всё управление — настройка источников, назначений, расписаний и мониторинг — происходит через веб-интерфейс. Платформа поддерживает различные стратегии репликации: от полного обновления до инкрементальной синхронизации с отслеживанием изменений (CDC).

Основная ценность версии с открытым исходным кодом — полный контроль. Вы разворачиваете платформу самостоятельно в Docker или Kubernetes в своей инфраструктуре (облачной, гибридной или локальной), что критично для требований по безопасности и соответствию нормам. Это даёт возможность дорабатывать платформу и коннекторы под свои специфические нужды, не завися от вендора.

Решение подходит для инженерных команд, которым необходимо:

• Автоматизировать и централизовать пайплайны данных из сотен источников (базы данных, SaaS-сервисы, API) в хранилища (Snowflake, BigQuery) или озёра данных.
• Быстро создавать собственные коннекторы для уникальных или нишевых систем.
• Подготавливать данные для аналитики, машинного обучения и AI-моделей.

DataPelago Accelerator for Spark от DataPelago — финалист

DataPelago Accelerator for Spark (DPA-S) — это программный плагин для ускорения обработки данных, созданный для работы с существующей инфраструктурой Apache Spark. Его цель — существенно повысить производительность и снизить затраты на выполнение стандартных ETL-задач, аналитики и GenAI-пайплайнов без необходимости переписывать код или мигрировать данные.

Платформа построена на DataPelago Nucleus — универсальном процессорном движке с GenAI-архитектурой, который автоматически оптимизирует выполнение запросов Spark. Ключевая особенность — способность динамически распределять вычислительные задачи между различным оборудованием (CPU, GPU, FPGA), выбирая оптимальное для каждой операции.

Это позволяет эффективно использовать доступные ресурсы, включая GPU, для традиционно CPU-ориентированных задач Spark, таких как обработка Parquet/ORC файлов, выполнение сложных соединений и агрегаций. Важно, что интеграция происходит бесшовно: ваши рабочие процессы, средства оркестрации (например, Airflow), системы мониторинга Spark UI и протоколы безопасности остаются без изменений.

Основное обещание платформы — преодолеть компромисс между производительностью и стоимостью. Согласно данным компании, пользователи достигают ускорения до 10 раз и снижения затрат на вычисления до 80% для подходящих рабочих нагрузок.

DataPelago Accelerator идеально подходит для компаний, чьи затраты на инфраструктуру данных растут вместе с объемами и сложностью данных. Это решение для команд, которые хотят:

• Ускорить тяжелые ETL-конвейеры и аналитические запросы (OLAP).
• Экономично масштабировать подготовку данных для GenAI-моделей, включая создание эмбеддингов и RAG-пайплайны.
• Мигрировать с дорогостоящих управляемых сервисов Spark на более контролируемую open-source инфраструктуру без потери скорости.

Развернуть ускоритель можно через GCP или AWS Marketplace (с биллингом через них же) или на собственных кластерах.

ПРЕМИЯ INFOWORLD «ТЕХНОЛОГИЯ ГОДА — 2025»: УПРАВЛЕНИЕ ДАННЫМИ: ИНТЕГРАЦИЯ

Сообщение Премия InfoWorld «Технология года — 2025»: Управление данными: конвейеры появились сначала на DGL.RU - Цифровой мир: новости, тесты, обзоры телефонов, планшетов, ноутбуков.