其他分享
首页 > 其他分享> > “数据创造价值 创新驱动未来”—侏罗纪数据治理解决方案

“数据创造价值 创新驱动未来”—侏罗纪数据治理解决方案

作者:互联网

侏罗纪经过多年的数据服务和技术经验积累,从业务建模出发,以对象域,业务域,工作域,业务过程域,专业域五大维度为核心,构建了石油行业的业务坐标体系,并抽提总结出一套能够适用于不同油气类型、不同业务环节、不同油气公司的统一的、标记业务源头的数据字典。并依托数据模型标准,配置数据接入规则,质检规则,修改规则,进行数据的整合及治理。

基于此,我们能够回答业务应该有多少数据,现在有多少数据,缺失哪些数据,哪些数据有问题;我们能够解决旧数据的治理问题和新数据的源头采集问题,并提供资产管理和数据应用服务。

面临问题:

石油行业,到底有多少数据?

已有的历史数据如何治理?

如何解决新数据的源头采集问题?

如何查看数据治理效果?

侏罗纪解决方案:

石油行业,到底有多少数据?

石油业务是可梳理的,我们通过业务建模,梳理出石油行业的业务工作单元,节点对应数据,可以知道到底有多少数据。

业务建模

石油数据都是预先设计出来的,根据石油地质理论和工作规范,能够明确产生业务数据的业务节点;因此,可以提前建立石油数据的业务坐标体系,并依据业务坐标体系检查数据的业务完整性、提供数据的业务定位和数据检索。

对象域

标记业务工作的工作对象,根据类型可以分为地质对象、工程对象、管理对象等。

业务域

依据石油勘探开发按照时间轴的先后顺序,以业务工作阶段划分,有明显的边界,并且每个工作阶段有相对固定的成果。

工作域

是指一个时间节点上,按照工作性质的划分,例如工程、研究、管理、经营等工作域。

业务过程

一项具体业务工作集的业务工作节点划分,独立于具体的业务域。

专业域

不同的技术方法或者不同石油地质专业。

建立统一的、标准的、标记有业务源头信息的标准数据字典,再将业务描述模型里的业务节点进行数据实例化,即可构建通用于同一石油地质理论及勘探开发技术的数据实体模型,且业务数据集的业务描述与业务关系得到继承。

例如:开发生产业务,我们通过梳理发现存在一个“井(对象)+生产(业务域)+安排调度(工作域)+ 油气田开发生产油气井日产量分配管理(业务过程)+生产管理(专业域)的业务节点,那么一定会伴随产生一个“单井月度配注计划表” 之类的业务数据单元。

84afd1ebbbb846fca32d3968a57c003f

业务数据梳理

通过业务梳理,对比模型标准和实际数据库,了解涵盖了多少业务的数据,还缺少哪些业务的数据。

84c37af2754d479a9c517c3689217a0d

已有的历史数据如何治理?

数据整合接入

建立数据治理中台,通过业务标准模型整合历史数据,利用数据质检工具,进行质量检查及问题修改。

·挑选需要接入的业务数据集

·选择匹配的数据表,或自定义SQL查询

·自动映射与手动映射结合,进行字段映射配置

·完成当前业务数据集的映射配置

主数据治理

结合主数据标准,首先治理主数据。

1、主数据六性:准确性、一致性、唯一性、完整性、共享性、及

时性。

2、主数据画像:多维度监控,使用情况、数据 总量、记录数、变化

趋势等。

3、主数据采集与变更:全生命周期可控。

23d1a6aa1d2541f1b172c41276b27424

业务数据治理

缺失数据分析:利用数据资产透视工具,分析各业务单元的数据情况,获取当前缺失的数据清单,再结合实际情况,分析数据缺失原因,以及下步如何进行资源补建。

已有数据质量检查:通过注册数据质量检查规则,检查数据的及时性,规范性,一致性,安全性,业务逻辑,元数据完整性,主数据规范性等数据问题;输出质量检查报告,根据数据具体问题建立批量修改和人工修改机制。

如何解决新数据的源头采集问题?

我们在建立业务模型时,已经明确了数据产生的业务源头,将采集活动与具体的业务工作绑定,确定唯一性。同时质检规则在数据录入时同时约束,解决数据质量问题。

48c6aaa5b32d4dcbb717c2a97627297f

如何查看数据治理效果?

治理后的数据按照统一的数据服务提供给业务应用,相应的业务系统可以直接看到效果;同时提供全数据资产管理工具,和各种数据资产查看视图。

(1)数据业务化处理

根据应用需要,配置数据转换计算、数据可视化、文档拆分、标签自动识别,知识生成等业务处理规则,让数据能被直接使用。

432ddd311fd84b22945702efbf38b6ff

(2)建立数据资产管理平台

提供面向不同用户的模型资产查看、数据资产查看统计、KPI分析、数据质量检查视图。

f51e11472b344de8bf6d3b35a44dc3e9

(3)提供数据服务

提供统一的基础数据服务:

8c53a13dfdbf4a4f81a13b045aebba82

侏罗纪数据治理解决方案已在国内各大油田企业的多个项目中得到了成功的运用,同时结合数据治理系列项目需求,打磨完善相关产品功能,不断用数据驱动业务、助推行业发展,真正释放数据的价值。

 

标签:石油,侏罗纪,解决方案,业务,质量检查,工作,治理,数据
来源: https://blog.51cto.com/u_15069843/2923903