从1天到10分钟的超越，华为云DRS在背后做了这些
作者：互联网
摘要：华为云DRS助力一汽-大众BI平台实时查看报表，提升数字化决策能力。
本文分享自华为云社区《分钟级查看报表，华为云&一汽-大众，让商机时刻被洞见》，作者：GaussDB 数据库。
数字化时代下，企业IT的数据重心从支持在线交易后移到运营分析，数据的及时更新、高效分析、减少人工干预，是企业经营的追求目标，因此企业不再满足于“T+1”，而是“T+0”，需要实时和个性化，对于汽车行业也不例外。
一汽-大众汽车有限公司（简称一汽-大众）于1991年成立，是我国第一个按经济规模起步建设的现代化乘用车工业基地，旗下有奥迪、大众、捷达三大品牌20余款产品，覆盖A、B、C级全系列乘用车型。
数字革命的浪潮下，4S门店的服务也更加精准高效，为了更好的服务客户，4S集团通过分析客户使用习惯及偏好、产品个性化需求收集等方式，多维度满足用户购车和体验需求。但随着数据挖掘的深入，对BI平台的要求也越高，为解决报表业务系统数据量的快速增长、数据汇集、交互分析难等难题，一汽-大众携手华为云数据库在MEP（经销商多功能生态平台）-BI平台项目合作中取得了突破，跨越了挑战。
实时数据更新，才能具备更快的市场反应能力
众所周知，BI平台的报表系统可以连接多维数据库，报表目的是帮助用户掌握和了解数据，企业决策者通过实时的数据进行分析和挖掘，为业务的变化及时作出应对策略。一汽-大众4S门店的BI报表业务需要实时汇集所有门店的数据，面临巨大的技术挑战。一汽-大众所有的4S门店拥有总计60+MySQL实例，200+数据库，每个数据库约有150+张表要同步，共有3万张表需要数据实时同步到BI系统内。如果按照传统的数据入湖方式，需要配置3万条数据同步链路，更需要海量的工作比对数据一致性，维护成本极高，同步效率低下。此外，随着数据量的膨胀，现有的数据库无法支撑数TB级别的数据量。因此打造支持海量数据存储、数据实时同步的商业数据智能分析的BI平台迫在眉睫。
面对一汽-大众的业务挑战，华为在方案选型上的主要考量如下：
- 抽取数据对源数据库影响最小化：抽取数据绝对不能拖垮源数据库，也不能对源业务的性能造成较大的衰减，甚至表被锁定；
- 部署实施要轻量简单：不需要在每个数据源安装代理程序，即开即用，配置操作简单易用；
- 数据一致性有保障：基于binlog解析进行逻辑数据同步，具有断点续传和严格的认点技术，不惧网络抖动，有效确保数据一致性。
综上，具备实时精准同步且保障数据一致的轻量级服务，华为云数据复制服务DRS是迎接业务挑战的不二之选。
华为云DRS助力一汽-大众报表系统数据实时同步，全面释放数据价值
DRS(Data replication Service)华为云数据复制服务，将云上的数据通过多对一的方案汇集到具备超强写入能力的华为旗舰型云原生数据库GaussDB(for MySQL)中，保证数据一致性和实效性，再通过DRS实施同步，从GaussDB(for MySQL)同步到华为云数据仓库GaussDB(DWS)中进行分析。但要想达到实时数据同步难度极大，因此，华为云数据库解决了如下核心难题：
- 增加数据来源列，解决主键冲突：通过MySQL到GaussDB(for MySQL)的多对一方案，增加数据来源列，记录server/database/table信息，避免多个源表主键冲突。
- 同步链路支持动态加减表：新增业务随时需要增加同步的表，华为云DRS支持GaussDB(for MySQL)的链路动态增减表，配置更加简单方便。
- 标记数据入湖时间，帮助实时分析：华为云数据库提供的方案中，增加附加列数据行写入时间和更新时间的列，标记数据插入和更新时间。为数据入湖及数据实时分析打下基础。
- 引入缓冲数据库，实时计算：针对1.8万张表不停的汇集和写入，选择了百万级QPS吞吐量和海量数据存储能力的GaussDB(for MySQL)作为缓冲层数据库，解决OLTP和OLAP数据库之间天然的数据处理能力差异。基于DRS实时准确的数据同步后，华为云GaussDB(DWS)实现实时计算，极大缩短复杂报表的执行时间。
- 数据实时精准同步：基于华为云DRS准确的数据同步能力，正常情况下延迟均在1s以内，为实时报表提供基础条件，帮助一汽-大众实现了销售报表数据可用时间从1天降低为10分钟。且数据同步准确度高，源端和目标端数据行数一致。
业务上线后，一汽-大众业务报表系统维护的链路数量从3万条降低至65条，工作效率大幅提升；同时DRS保证数据一致性，10亿级数据无一条丢失，极大降低数据比对工作；帮助一汽-大众实现了销售报表数据可用时间从1天降低为10分钟，时效性大幅提升。此外，对于缓冲层数据库GaussDB(for MySQL) 具备海量数据存储能力，最大支持128TB，超百万级QPS吞吐，可支撑业务快速发展；基于GaussDB(for MySQL)的计算存储分离架构，数据三副本存储强一致，数据零丢失；RTO秒级，故障秒切换，全面保障数据安全。
一汽-大众以用户为中心，构建以数据分析为核心的生态圈，洞察用户需求，提供高价值产品，深受客户青睐。而华为云数据库通过技术手段实现数据实时同步，从海量的数据中发现洞察，为企业经营决策提供数据基础。未来，华为云数据库将持续携手一汽-大众通过数字技术，打造差异化有竞争力的数字化服务，满足客户对产品和服务日益增长的个性化需求。更多华为云数据库详情了解，欢迎前往华为云官网：https://www.huaweicloud.com/product/dbs.html
标签：10,同步,天到,DRS,实时,华为,GaussDB,数据,数据库 来源： https://www.cnblogs.com/huaweiyun/p/15623030.html