银行如何做好数据质量管理？| 推荐收藏

众所周知，银行是经营风险的企业，而管控风险的方法就是数据，银行业在提供金融服务的过程中，积累了海量的用户数据、交易数据以及外部数据。

银行业通过数据挖掘、分析和应用，使静态数据流动起来，一方面，可以赋能现有业务的发展，更好地实现数字化转型；另一方面，能够对客户群体进行精准画像，充分了解客户需求，构建真正“以客户为中心”的金融产品与服务。

但不管在什么时候，数据质量都是银行的生存命脉，特别是近几年，监管单位频频下发文件要求各金融机构进行数据治理，提高数据质量。比如，银保监会组织开展了对21家全国性中资银行机构EAST数据质量专项检查。对检查发现的漏报错报ESAT数据、部分数据交叉校核存在偏差等数据质量违规问题，银保监会依法严肃予以行政处罚。以上足以说明数据质量管理对银行的重要性。今天小亿就来为大家说说银行业如何做好数据质量管理。

 

一、银行数据治理迈入“强监管”时代

2018年，银保监会在《银行业金融机构数据治理指引》中首次明确了数据治理的定义，“数据治理是指银行业金融机构通过建立组织架构，明确董事会、监事会、高级管理层及内设部门等职责要求，制定和实施系统化的制度、流程和方法，确保数据统一管理、高效运营，并在经营管理中充分发挥价值的动态过程。”

从定义中可以看出，数据治理具有三个要素：一是要构建统一的治理架构；二是要制定系统化的制度、标准；三是最终要能够发挥数据价值。

随着《银行业金融机构数据治理指引》的发布，银行数据治理监管开始不断升级。之后，银保监会、央行等又发布多项相关政策推进银行业数据治理工作，涉及数据治理体系评价、治理能力提升、治理体系构建等多方面内容。

其中，2021年9月，银保监会发布《商业银行监管评级办法》，将“数据治理”首次纳入了评价体系，权重占比5%。这意味着数据治理正式成为了商业银行风险监管的评价指标。银行业数据治理迈入了“强监管”阶段。

 

二、银行数据治理整体框架

银行业数据治理需要建立适应行业发展的数据管控体系框架，即基于完善的数据管控机制，建立一套有利于企业管理和控制数据的完整体系，从而使企业数据处于整体有序管理的状态。

具体来说，包括遵循政策指引及业务发展需求，制定相应的数据标准、数据质量指引等规范数据治理；参照DCMM模型建立评级体系，通过量化指标来衡量治理效果；建立数据管控平台广泛纳入数据资产，使数据信息可管理 、可量化、可衡量；通过制定流程管理办法，建立相应的组织体系、管理体系、技术体系和执行体系，最终形成内外有序的数据管控闭环，实现数据资产价值最大化。总的来说，银行业数据治理可以采取“三步走”战略：

第一步，搭建数据管控平台，统筹数据流程、数据模型、元数据、数据标准、主数据、数据质量、数据安全等需求，实现全行数据集中管理；

第二步，在支持全面数据管理的底座之上，不断加强收集数据、完善管控体系、统一数据来源、规范数据标准、提升供数效率、降低数据管理成本、确保数据合规，以及构建可视化在线开放机制，实时监控数据资产情况，为各系统建立关联关系，做好数据互联互通；

第三步，在做好数据管理、数据互联互通的基础上，进一步全面提升数据价值。

 

三、银行体制建设是数据质量管理的基础

银行业数据治理涉及的部门多，业务多，数据多，牵一发而动全身。做好顶层设计，建立组织结构健全的数据治理架构，确定董事会、监事会和高管层的职责分工，确立数据治理归口部门，明确牵头部门和业务部门的职责是开展数据治理的有效保证。 

对任何一家机构来说，建立一套新体制是一项巨大的工程，主导牵头部门首先要明确最终实现目标，之后与相关部门探讨行之有效的具体方案再加以落实。体制建设主要从三个方面入手：制度建设、组织建设，流程建设。

1.制度建设

制度建设应当首先建立科学的数据制度框架，在此基础上制定全面、有效的数据管理和应用机制，同时完善相应体系，以保障日常数据治理工作的规范性和严肃性。制度建设并不是“一劳永逸”的事情，后期需要根据实际业务变化、内控调整的情况进行修订，保障制度持续有效。在制度建设中，还应加入定期实施相关人员培训以保证内部员工信息对称性，和对制度的执行情况实行量化评估等内容。

 

2.组织建设

如果说制度建设有一定“纸上谈兵”的成分在，那么组织建设则是真正能确保依照规则“按部就班”的关键。首先，应明确统一的数据治理归口、统筹部门，由其负责组织协调各项数据职能工作；其次，不同部门应配置相应的工作人员并明确岗位职责；管理层则主要负责数据治理的相关决策工作。

日常业务层面，统筹部门应按照数据治理制度的要求，定期开展各部门数据治理工作评价、人员培训、以及相关岗位人员绩效评估，以求保证制度规则能实际落实到位。

组织建设中比较突出的问题在于，如何明确统筹管理部门、数据使用部门、以及数据采集部门间相应权责划分，以及角色职责认定。通常在此过程中多半会出现跨部门职责分工无法明确，部门之间相互扯皮的情况，此时，可根据不同业务操作流程，按“谁实施，谁负责”的方式进行细分责任认定，并由最终数据生成部门的提出数据采集要求。

 

3.流程建设

流程制定层面涉及到数据治理工作中各项细节问题，需要数据采集、操作部门根据日常工作制定具体工作步骤及各环节的主要活动。数据治理统筹部门则需要对流程及时性、有效性进行评估，督促操作部门定期审查流程实行效果。

 

四、银行业如何做好数据质量管理？

1.数据标准的制定

银行业的数据来源广泛，数据量庞大，一旦缺乏统一大数据标准，便会出现数据指标口径不统一、指标重复建设等问题，最终导致数据的可用性不高。银行业在开展数据治理过程中，做好内部数据标准建设，才能有助于保证数据的统一性、完整性和真实性，从而更好地实现数据应用。

 

数据标准一般会由银行的数据治理小组下设的数据标准委员会制定，比如由数据资产委员会统一制定全行的一系列数据标准，各个项目组都需要参考标准来实施，只有标准统一并且规范管理，才能使数据质量管理 “有法可依”。一般来说，银行业金融机构应建立全行统一的数据标准，包括基础类数据标准和指标类数据标准。

（1）基础类数据标准

基础类数据标准是对实体的属性定义标准，比如姓名、身份证号、归属地等，一般来说可以参考国家标准和行业标准。 

举个最常见的例子，银行的客户信息一般在核心和信贷系统中都有一套，业务分析时如果需要一个整合的客户数据，那异构的客户数据该怎么整合，这里就需要建立一个全行通用的《客户数据标准》来规范客户数据整合工作，确保兼容各个系统的同时，还能做好数据映射。

 

（2）指标类数据标准

指标类数据标准是指根据基础数据计算和加工之后得到的数据的标准，比如存款余额、开户数等，指标类数据一般会分为基础指标和计算指标。

指标类数据标准比较个性化，一般来说各个银行都会有差异，也没有国家标准作为参考，但是应该作为重点进行管理。因为业务分析数据的最终结果，其实是为了得到指标的值，基础类数据标准能够让业务得到标准的维度，指标类数据标准让业务能够得到准确口径的指标值。完整的指标标准至少包括如下几项要素： 

①指标类型：数量指标/质量指标，外部监管指标、信息披露指标及内部管理指标；

②指标名称：概要说明指标的含义或内容；

③业务定义：指标数据标准的原理性解释；

④计算规则：用于描述生成加工规则；

⑤统计口径：用于描述统计指标的时间或空间界限；

⑥计量单位：比如用于计量金额的单位“元”、“美元”、“户数”等；

⑦指标数值：用于描述经过计算规则加工后得到的具体数值；

 

2.数据质量的检核

数据质量问题千千万，但是所属的类型是有限的，数据质量检核主要依据以下原则，帮助全方位发现数据质量问题。每个质量问题从不同的维度出发需要不同的检核方法和整改规则，比如客户身份证号可能从准确性、完整性、有效性等方面来归纳问题，并制定相应的整改规则。

检核规则有6个大类、12个小类。大类维度有完整性、唯一性、有效性、一致性、准确性、及时性；小类维度分为非空约束、唯一值约束、代码值域约束、长度约束、内容规范约束、取值范围约束、标志取值约束、存在一致性约束、等值一致性约束、逻辑一致性约束、取值准确性约束、及时性约束。 

（1）完整性：用来检核数据的完整程度。完整性就是我们日常所说的“数据要全”。在数据采集和数据流转的过程中要把需要的数据记录完整。所有其他规则维度都以完整性准则内容为基础。

（2）唯一性：用来描述数据是否存在重复记录。比如个人借据信息表中，借据号作为主键，不应重复。再比如个人客户信息表中，证件类型+证件号码+姓名相同，则其客户编号应唯一。

（3）有效性：用来描述数据是否满足用户定义的条件或在一定的域值范围内。通常从长度、取值范围、内容规范方面进行约束。比如存款类型不能出现存款产品表之外的名称，再比如身份证号不能是18位之外的位数。

（4）一致性：用来描述同一信息主体在不同的数据集中信息属性是否相同，各实体、属性是否符合一致性约束关系。比如“进出口经营权许可证号”长度为13位，后9位应与“组织机构代码”一致。

（5）准确性：准确性要求不仅数据的取值范围和内容规范满足有效性的要求，其值也是客观真实世界的数据。由此可见，有效的数据未必是准确的，反之成立。准确性通常需要业务人员或其他当事人手工核查，没办法通过技术手段实现全自动化检核。但是大数据时代，还是可以通过一些手段达到部分自动检核的。比如客户居住地址变化了我们没办法及时更新，但是通过其手机银行登录地址和数据库中地址的对比分析，可以帮助进行数据检核。

（6）及时性：及时性要求数据能及时反映实际业务时点的状态，部分需要业务人员或其他当事人手工核查。比如发生理财业务时，交易在理财系统是成功状态，但是该笔交易在核心却没有入账。每一条数据，都可能存在多个维度的质量问题，需要建立多条整改规则，这也是为什么要建立完善的检核体系的原因。它可以帮助我们全面的诊断数据在各方面存在的问题，而不是凭经验或者感觉来梳理。

 

3.数据清洗与整改

数据清洗与整改是整个数据质量管理的核心，前面制定的数据标准和检核，都是为了发现问题和提供解决方法，数据整改是通过系统或人工的方式把标准落地，并且把检核到的数据进行清洗、整合、切实改善数据质量。

数据整改可分为业务和技术两类。从业务角度来看，数据整改是指数据在业务层面是否符合全行已经达成共识的数据质量要求，通常每个数据标准项都有其对应的数据质量业务规则；从技术角度来看，数据整改是指数据质量业务规则的实例化，是其在系统中的应用，用于对特定的数据集进行数据质量监控、检查、评估等。数据质量技术规则和具体系统表、字段密切相关。

在调研各个业务系统时，首先根据数据检核排查数据问题，然后制定相应的业务规则，最后结合特定的系统和字段制定对应的技术规则，技术规则最终落地到工具里面。

一个业务规则有可能对应多个技术规则，每个技术规则都是跟相应系统、表和字段相关。形成的各项业务规则和技术规则都需要按照数据质量检核体系进行分类管理，并且形成方案，落地到数据质量平台工具中去，通过工具实现自动化检核和整改工作。部分不能实现完全自动化的数据质量问题，可以由系统检核和评估出疑似质量问题的数据，然后交由专业的数据整改小组成员或者责任部门负责手动整改。

在数据治理的过程中，不单单包含存量数据的治理，还有新增系统和数据的规范。这部分也是结合数据标准、数据检核和整改规则来保证新增数据的高质量的。

 

4.数据质量评价机制

评价机制是为了落实责任到位，因为我们发现，往往在数据治理这种牵涉到跨部门的项目中，非常容易出现责任分散、考核主管、动力不足的问题。评价机制采用自动化数据质量统计手段，实现数据质量按部门、按条线、按主题、按规则等维度进行多维评价，考核直接和绩效挂钩，充分调动相关部门和人员的积极性。

数据经过检核和整改之后，肯定会逐步地得到改善。但是为了长期跟踪和推动各系统数据质量的持续提升，并且为度量各系统、各部门的质量满足度提供依据，我们应该根据数据质量检核，进一步明确相对应的评估模型和指标算法。

评估指标算法分为规则级的评估指标算法和体系级的评估指标算法。规则级评估指标算法是对具体规则进行评估计算，是评估的最小单元，也是其他评估指标算法的依据；体系级评估指标算法是对预先定义的评估体系进行的综合评估，在实践中按项目或专题组织（如总分检核、代码检核、客户数据检核），可能包含一个或多个检核规则，按照分析评估的目标由系统管理员自由定义。 

由评估算法得出的指标可以作为汇报材料或者进度考核数据，经过统计分析后形成数据质量报告，让各级部门和相关人员及时了解数据治理现状和问题，是整个数据质量管理体系的“指南针”。

 

五、案例展示

1.赣州银行城商行数据管理平台 

（1）建设内容：赣州银行城商行数据管理平台的总体目标是完成各银行各业务条线产品的梳理，新建系统全面落标，规范字段命名，规范业务接口，提升监管数据的数据质量，为业务发展及金融创新提供助力。

（2）项目价值：经过赣州银行行方与亿信项目团队的通力配合，基于明确的项目目标，完成了包含元数据管理、数据标准管理、数据质量管控三大主体模块的数据管理平台建设。 

①元数据管理：长达5个月的元数据管理，实现新信贷、新总账、新理财、核算等系统的注释填充率到达100%，实现了元数据的变更事前可控管理。

②数据标准管理：总计梳理8个主题、1244条标准，对7000多个关键字段进行落地评估，将治理初期20%的标准通过率提升到现在的85%。

③数据质量管控：根据EAST4.0的要求，梳理了300余条规则，建立了相应的预警机制，实现了监管报送指标的自动化监管，保证了数据质量。

 

2.江苏某市大数据管理平台 

（1）建设内容：在现有建设的基础上，进一步提升数据质量，建立数据标准，通过涵盖全数据生命周期数据治理，建设覆盖数据全生命周期的大数据治理平台，打破信息孤岛，接入涵盖全市各政务57个部门超17亿条数据，打通省级数据资产共享直连链路，建立健全数据质量管理机制，提供各类数据服务。 

（2）项目价值：通过大数据治理平台的建设，实现了全市政务数据质量管理通用规则制定、执行、问题跟踪及数据更改过程管理；实现2个基础数据库和7类公共数据源数据标准的制定和统一管理；实现了57个部门，超17亿条存量数据的共享交换，打通了省级数据共享直连链路，提高了数据的使用价值。

该市数据质量得到有效提升，数据管理机制也得到建立健全，为该市政府各部门政务数据挖掘、预测分析、政府决策提供可信的数据支撑。

 

六、小结

如今，数据资产越来越受到各行各业的重视。银行业作为与数据最密不可分的行业之一，在“数据要素化”的市场推动下，势必要先行一步体现数据的使用价值。伴随外部监管要求逐步提高以及市场竞争环境的日益激烈，银行对于数据价值的重视提升到了前所未有的高度。

与此同时，银行业务重点变化、金融业务联动甚至企业合作都对数据管理提出了更高的要求，尤其是整合多种数据源、创建一致的数据副本，以及提供灵活的数据查询需求。在这些要求中，数据质量因素对于企业数据应用有着至关重要的影响。 

而银行要提高数据质量，就需要在组织架构上，采取自上而下的治理架构，并组织专门的数据治理归口单位；并且不断推动数据标准建设，通过企业级数据标准及数据标准管理系统，实现数据的统一。最终帮助银行实现数据、合规、治理的进一步融合。

标签：标准,收藏,指标,做好,治理,检核,数据,质量
来源： https://www.cnblogs.com/luozhiheng/p/16453767.html