走向实用的数据网格路线图
作者:互联网
向易于使用的数据网格路线图迈进
实施企业数据网格既不容易也不直观。跨越多层次(技术、组织和整改)的变化深度,呼吸和速度使企业的信息网格之旅既复杂又可怕。
然而,有了可靠的路线图,您的企业数据网格之旅可以变得更加方便、快速和低成本。如今,不用说,每个企业的旅程都是独一无二的,但在所有的企业数据网格之旅中都有几个共同的元素和注意事项。
本文将处理这些一般要素和注意事项,并提供:
路线图显示了创建企业数据网格的关键工作流程,
对每一个关键流进行深入分析,以识别和安排可交付的结果和结果
企业数据网格之旅
与客户产生共鸣的企业数据网格之旅视图如下(图1)。我的应用“公交地图”对比路线图,因为这可能是一种简单直观的方式来表示活动的关键流和宏观序列。
正如您所看到的,几个并行工作流可以到达我们的企业数据网格目的地:
StrategyStream,它为我们的企业数据网格带来了更广泛的业务和技术愿景及其预期成果。
TechnologyStream,它定义了企业数据网格所需的技术基础和产业化活动。
FactoryStream,为了快速扩展我们的企业数据网格,引入了可重复的流程和模板。
OperatingModelStream,它定义了企业数据网格的团队结构、互动和整改技术。
SocializationStream,它不仅用于成功的沟通,也用于不断构建我们企业数据网格所需的动力。
RolloutStream,通过我们的企业数据网格加快数据产品的选择。
以下部分将更详细地描述每个流。
对策流
我们的路线图从战略流开始,创建关键数据网格概念,制定实施计划,投射我们的关键机会和风险。这种流量通常可以在10-12周内完成,如果需要更多的时间来获得高管的赞助,可能需要更长的时间。
在这一流中创建了几个导出:
数据网格介绍-一个“数据网格101”通信包解释了关键概念-数据产品、数据所有权和数据网格,形成了企业数据网格中实施的基本概念。
该架构描述了数据产品及其企业数据网格中的关键部件(这里可以获得大量详细信息)。
Roadmap,它为我们的企业数据网格定义了实施计划(可能看起来像本文讨论的路线图)。
结果,确定短期机会(转化为业务赞助)MVP候选人)及其有形的长期利益以及创建我们企业数据网格的预期结果。
风险,识别技术、运营和组织风险,可能阻碍每个人的进步。高优先风险一般在未来的概念验证中处理(稍后解释)。
这一阶段的成功不仅取决于建立一组可交付的结果(尽管它们非常重要),还取决于不同相关者的支持。但最好的办法是记住,每一个对策都是关于讲故事的。而且,就像任何好故事一样,我们的策略有一个广泛的叙事弧,可以搭建一个舞台,确定要克服的问题,并提供一个勇敢的解决方案来应对我们的挑战。
即便如此,并不是每个人都是有成就的讲故事的人。因此,有一个实施数据网格策略的摘要(简化)描述实例,可以帮助您开始:
***
数据是现代企业的燃料。它支持我们的决策,帮助我们提供优秀的用户体验,减少上市时间和进入新市场所需的灵敏度和洞察力。
然而,今天,我们的数据很难找到、应用程序、共享和管理。事实上,我们的内部研究发现,数据科学家和分析师花了近50%的时间寻找和阅读数据,而不是创造新的观点。因此,我们看到更慢、更错误、更昂贵的决策和洞察力,错过机会和更糟糕的用户体验也就不足为奇了。
最好使用当代数据网格,使数据更容易搜索、应用、共享和管理,以解决这个问题。在过去,我们的数据科学家和分析师必须在几天内完成工作,但现在只需要几分钟,这样我们就可以得到更好、更快、更低的成本,这样我们就可以快速使用转瞬即逝的机会,并帮助我们提供优秀的用户体验。
以新发现的速度和灵敏度,人工智能/机器学习分析团队的数据科学家和分析师将能够提供更好、更快、更便宜的洞察力。这些洞察力是提供进入新市场所需的洞察力的前提,利用新的机会,提供真正优秀的用户体验。
***
技术控
技术控制开始在16-24周内建立我们的技术基础。现在,这可能看起来很短,但我发现在一些前提下,大多数数据网格技术堆栈-数据库、安全基础设施CDC事件流技术-已经在许多大型企业中使用和运营。显然,如果核心基础技术不能使用,这项任务可能会增加。
技术控制的目的是创建所需的基本技术能力,使数据易于搜索、应用、共享和管理。因此,这种流程为我们称之为企业数据网格的互动数据产品生态系统创造了工业化的基础。
技术控制包括两组活动:(a)构建技术基础组件和(b)这些部件的工业化。
“基本”该活动将设置以下一个或多个部件,用于单个数据产品及其更广泛的数据网格:
Registry,可以轻松搜索、发现、观察和使用每个数据产品中的强制部件
联邦查询平台可以轻松使用和共享数据产品管理的信息
API平台可以快速根据API应用数据
不能更改日志,在数据产品上提供活动、异常和报警的历史数据
Streaming/EventPlatform,这使得根据当代流媒体技术在数据产品中共享数据变得容易
一旦基本功能建立,我们的关键将转移到将数据网格部件集成到企业业务环境中“工业化”活动。
工业化阶段通常处理几种功能:
安全,确保所有基本部件满足公司的安全情况;应处理的最低安全预防措施包括数据加密(“静态”和“动态”),基于人物的密钥管理,应用身份管理的身份认证和授权API浏览的OAUTH2.及其安全运行环境;受控行业企业可能会选择更高层次的安全性,因为他们也考虑更广泛“零信任”技术。
可执行性,使所有数据网格部件和数据产品与公司的运营环境集成;至少,考虑到日志收集和报警捕获,并与安全和使用控制台共享。
可观察性,提供数据产品和数据网格组件应用和内部操作所需的可见性,从而实现问题诊断和使用模式分析。
创建集成到企业技术支持环境中所需的步骤(与支持自动化)。