基于华为云MRS大数据平台的功能定位实时数据处理工具

一、项目背景和目标

随着金融行业市场的快速变化和业务的快速发展，我行离线数仓系统的功能目前定位为批量数据交换能力，主要处理T+1离线数据，难以实现涵盖风险防范和客户营销的复杂场景需求。大数据风控平台和统一数据服务应用平台的逐步生产和应用，对T+0实时数据服务的需求非常迫切。因此，需要构建实时数据服务平台大数据管理平台功能，补充实时数据应用能力，提高数据服务覆盖率。

平台实现实时数据处理和实时营销功能的数据支持，包括营销策略。需要对在线数据（如交易流水/前端嵌入点数据等）和外部数据（如社交数据、运营商数据等）进行实时处理特征采集和特征推导.

该平台需要分层架构设计。基于华为大数据平台、Kafka、Flink等组件开发分布式可扩展系统，有可视化操作平台大数据管理平台功能，包括数据采集、实时计算、实时服务等模块。界面简洁明了，各层级之间的结构合理。实时数据采集模块需要支持主流的数据同步工具，实时计算模块需要实现单流计算、多流计算、流-批合并计算、流等多种场景的计算功能——基于规则计算。实时服务模块需要提供API接口服务、消息服务等功能。

二、创新

基于华为云MRS大数据平台，实现营销管理系统的实时数据支持。移动端（手机、平板等）微信小程序实时数据采集 移动端提供实时数据查询服务的全流程实时处理能力，大幅提升数据效率传播，及时发现潜在商机，实现信息价值最大化。

三、技术实现特点

1.实时采集

利用国产CDC（Change Data Capture）工具i2Stream，实现业务系统数据的实时采集，并以毫秒级的频率同步到华为云Kafka数据队列，保证数据并发、高可靠、高可用和低延迟。专业。

2.实时处理

使用华为云大数据平台Flink实时数据处理工具，将突破流式实时数据与已有数据的应用壁垒，完成实时数据与已有数据的一体化逻辑处理过程。 ，可视化的运维操作，灵活、高效、实时地完成业务逻辑处理。

3.直播服务

搭建DSP数据服务平台，打造大数据“高速公路”，以服务形式为流式实时计算结果的前端应用提供数据支撑，提升全行大数据服务能力，使业务系统发挥更大的商业价值作用，提高核心竞争力。

四、项目流程管理

1.华为云基础平台及应用集群建设阶段

2021年7月至2021年8月，主要完成华为云基础平台和应用集群的硬件架构设计、软件部署架构设计、硬件采购、硬件安装、网络配置、软件部署、系统调试等工作。

2.业务需求分析和大纲设计阶段

2021年8月，主要完成营销管理系统“大额账户移动提醒”和“实时营销线索”的需求讨论、需求分析、大纲设计。

3.详细设计阶段

2021年9月，主要完成“大额转账提醒”和“实时营销线索”实时数据流处理逻辑的详细设计。

4.代码开发和单元测试阶段

2021年10月-2021年11月，主要完成“交易流”、“营销埋点”、“客户”、“账户”、“产品”、“关系配置”等实时数据的Flink程序编码开发及其他相关表格批量数据同步程序编码开发，以及各功能模块的单元测试。

5.系统集成测试及上线准备阶段

2021年11月下旬至2021年12月上旬，主要完成各功能模块的系统集成测试，进行性能测试，编写在线部署脚本和数据初始化脚本，编写测试报告，发布计划。

6.系统试运行及上线阶段

2021年12月主要完成核心数据采集、“大额账户动向提醒”和“实时营销线索”数据处理、DSP数据服务、营销APP联合上线运营、运维培训、和应用推广。

五、操作

1.大数据平台

基于华为云的大数据平台有效保障了系统的稳定运行。全站可视化监控管理界面，可实时监控服务器集群CPU、内存、网络、硬盘等资源的资源使用情况，实时监控所有组件程序的运行状态。

可靠性高达9<​​@9.999%，7*24小时稳定运行。

多级数据安全控制。

扩容、配置、滚动重启/补丁/升级、业务无损、无感知。

节点，磁盘故障，业务不中断。

完整的数据备份和高可用性解决方案。

2.实时数据采集

CDC工具采集核心系统、财富管理系统、中间业务系统的实时交易流水、账户信息、客户信息、产品信息等数据，实时写入Kafka数据队列，供后续Flink处理配置管理更易用、更灵活，可视化监控数据流更有效。

3.实时数据处理

华为大数据平台稳定运行 Flink 作业。来自Kafka的实时消息数据经过一系列处理和处理后，将结果数据写入ClickHouse，对整个过程进行可视化监控，实时监控数据吞吐量、响应时间等。指标，确保整个过程的数据流畅和及时响应。

4.实时数据服务

实时数据通过DSP数据服务平台为营销APP提供及时、稳定的数据支持，为数千员工、数百万客户提供稳定服务，提升用户服务体验。

六、项目有效性

实时数据处理平台的建立，为大量数据的及时记录和反馈提供了解决方案，让大量有价值的数据得到及时、准确的利用。在与时间的市场竞争中，给企业带来了很大的帮助，大大提高了工作效率，实现了工作的准确性。主要通过以下两个方面：

1.大额转账提醒

解决了以往处理T+1离线数据时效性低的问题，第二天才能出结果。通过实时数据处理，对每一笔交易的流量进行检测和判断，计算出每一位客户的每日累计交易量。如果金额超过预设阈值（例如500,000），则会向客户经理发送提醒消息，帮助每位客户经理实时监控其控制的客户的大额资金变化，并针对客户情况及时采取相应对策。

2.实时营销线索

这种实时营销线索功能，帮助员工更准确地了解自己的营销分享过程和受众情况，通过浏览量、浏览量、转发量、转发量等实时了解营销效果。转发方式。 “交易换算”功能还可以展示业务员的业绩，统计上千业务员理财产品的交易量、交易金额、产品类型，以及每笔理财下的百万客户产品。 从多个角度可视化营销状态。

管理上千款理财产品，每款理财产品下拥有数百万客户。统计和处理每个客户关于不同产品、不同员工和不同沟通方式的数据是如此之大，以至于平均每天可以测量数百万。实时大数据处理就是为了解决这些难题而正式设计的。

七、经验总结

平台实现实时数据采集与监管能力，依托大数据技术，真正实现技术与业务双轮驱动。对用户行为信息和资金流状态进行多维度挖掘和统计，为营销决策提供客观有力的数据支持，提高营销转化率，增加业务收入。

更多金融科技案例，请登录数字金融创新知识服务平台——金科创新俱乐部（）官网案例库查看。