«Коммерсантъ»:«Яндекс» поделился кодом системы управления базами данных ClickHouse
"Яндекс" решил опубликовать исходный код ClickHouse —распределенной системы управления базами данных, разработанной для сервисавеб-аналитики "Яндекс.Метрика", сообщили "Ъ" в компании. Технология неограничивается аналитикой сайтов и приложений и может быть использована втелекоммуникациях, рекламе, онлайн-торговле, для обработки данных мониторинга ителеметрии, а также для решения задач информационной безопасности (ИБ),рассчитывают в "Яндексе".
ClickHouse хранит и быстро обрабатывает большие объемыинформации для создания аналитических отчетов. Система масштабируется ипозволяет хранить записи о триллионах событий — например, о действияхпользователей на сайте, о запросах к сервису или о показах рекламы. Системаопробована на задачах "высоконагруженных сервисов" "Яндекса", объясняют вкомпании: ClickHouse применяется не только в "Метрике", где используется дляхранения всех данных для отчетов, но и в "Маркете", "Почте", "Директе","Вебмастере", для бизнес-аналитики и в мониторинге инфраструктуры.
По словам руководителя группы разработки ClickHouse Алексея Миловидова,публикация исходного кода — "один из самых значимых вкладов в open-source вистории компании". Так, "Яндекс" уже выкладывал в открытый доступ исходные кодыпредназначенного для нагрузочного тестирования "Яндекс.Танка", технологииразработки сайтов БЭМ и инструмента для извлечения структурированных данных изтекста "Томита-парсер". Сделано это было в том числе и по прагматическимсоображениям. "Применение технологии в областях, которыми "Яндекс" незанимается, помогает шире взглянуть на ее возможности",— говорит господинМиловидов, приводя в пример положительный опыт использования ClickHouse всовместном проекте с Европейским центром ядерных исследований.
Интерес к ClickHouse уже проявила "Почта России",использующая для разных типов задач инструменты на основе открытых технологий —так, для хранения данных применяются Hadoop, Cassandra и PostgreSQL, сообщила"Ъ" представитель предприятия Елена Алексеева. По ее словам, "Почта России"планирует использовать ClickHouse как один из компонентов разработки иформирования онлайн-отчетности.
Технический директор и сооснователь разработчика рекламнойплатформы Segmento (контрольный пакет — у Сбербанка) Кирилл Сафонов называетClickHouse "мощным компонентом современных систем работы с данными". Системаможет как решать проблему анализа онлайн-поведения целевой аудитории илирезультатов рекламных кампаний, так и исследовать различные процессы внутрипредприятия: изучение активности пользователей или сотрудников, работа с"техническими данными" о функционировании информационной системы, перечисляетон.
С точки зрения ИБ, сегодня в России разрабатывается немалоSIEM-решений (Security information and event managemen), ClickHouse будет однимиз них, рассуждает консультант по безопасности Cisco Алексей Лукацкий. Впрочем,если "Яндекс" готов будет делиться своей аналитикой и помогать во внедрении инастройке системы своим заказчикам, то он превратится в "очень серьезного"участника рынка средств мониторинга ИБ, считает он.
Компания приняла смелое решение опубликовать исходный код, ане сделать этот продукт коммерческим — как минимум, "это большой эксперимент",полагает глава российского представительства Eset Денис Матеев: "Если у негобудут позитивные результаты, то "Яндекс" улучшит жизнь специалистам поэлектронной торговле, аналитикам, медиа и разработчикам софта". По его мнению,у ClickHouse есть потенциал применения в Security Operation Center — центрахмониторинга, куда стекается информация о событиях, имеющих отношение к ИБ.