Почта Банк обновил корпоративное хранилище данных
Почта Банк реализовал масштабный проект по рефакторингу корпоративного хранилища данных (КХД). Он заключался в полной переработке архитектуры, создании оперативного слоя данных и их унифицированной модели, выстраивании процессов Data Governance.
В результате в КХД увеличилась производительность расчетов, унифицированы их алгоритмы, сократились финансовые расходы, повысилась актуальность и безопасность данных. Значительно улучшено общее качество данных в КХД и других системах, что ведет к повышению уровня клиентского обслуживания.
В ходе проекта команда Почта Банка при поддержке компании «Философия.ИТ» (входит в Лигу Цифровой Экономики) создала качественно новую архитектуру КХД, которая позволяет получать данные из ключевых систем-источников в режиме онлайн и обеспечивает инкрементальное обновление всех слоев хранилища. Параллельно развивалось и старое КХД, содержащее в себе огромные объемы legacy-кода, накопленные за более чем пятилетнюю историю.
«Для конкурентоспособности банка важна прежде всего скорость внедрения новых продуктов и масштабирования систем. Поэтому возрастает потребность в современном и производительном хранилище данных. Сегодня очень популярен термин data-driven, но вы не станете дата-ориентированной компанией только за счет накопления объемов данных или реализации ad hoc-выгрузок по мере возникновения задач. Без надежной базы дата-аналитики организации могут тратить до 80% времени на подготовку данных вместо их анализа», — рассказывает Василий Король, руководитель службы по управлению данными (Chief Data Officer) Почта Банка.
По словам эксперта, работа в этом направлении продуктивна только тогда, когда выстроен фундамент: отлажены процессы сбора, очистки, унификации, хранения, управления и использования всего объема генерируемых данных. «При этом проект по выстраиванию такого фундамента всегда тяжелый и длительный, тем более если вы реализуете его на «живой», постоянно работающей системе, от которой зависят все процессы компании. Но в наших силах сделать его эффективным», — говорит Василий Король.
В первую очередь была разработана и согласована концепция развития управления данными в Почта Банке. В рамках этой концепции был выстроен полный цикл управления изменениями корпоративного хранилища, коснувшийся взаимодействия как внутри команды, так и с подрядчиками и заказчиками. Была выстроена гибридная система реализации задач и проектов (scrum и waterfall), что позволило прийти к высокой регулярности релизов КХД (минимум раз в две недели) без значительных потерь в качестве.
Была реализована система контроля качества данных, внедрены и согласованы регламенты взаимодействия с системами-источниками. Осуществлен перевод системы мониторинга КХД на роботизированное ПО (push-уведомления, автоматические звонки). В новой архитектуре созданы операционный (блок витрин для систем-приемников) и аналитический слои КХД (где внедрена и развивается единая модель данных). Реализована ролевая модель доступа к BI-отчетности и данным хранилища.
Были улучшены параметры быстродействия и надежности КХД, снижены затраты на его развитие и поддержку, а также совокупная стоимость владения. Увеличена скорость расчета и предоставления информации бизнес-заказчикам (большая часть ключевых витрин готовы до 8 утра дня, следующего за отчетным). Обеспечено выполнение более жестких SLA как по скорости готовности, так и по качеству данных.
В части технико-процессных аспектов и архитектуры осуществлен переход на инкрементальные расчеты, проведена дедубликация данных и бизнес-процессов. Также был выполнен перенос ключевой ресурсоемкой функциональности пользовательского финансового хранилища в новое единое КХД.