数据中台：建立在数据网络效应之上的赛道
作者：互联网
好文8145字 约15分钟阅读
过去两年，数据中台的概念在中国遍地开花，这个源自于阿里巴巴数据实践的名词，借助数字化转型的东风迅速成为了企业CTO谈论的中心，迅速发展成为一个至少千亿级别的赛道。2019年，也被称为数据中台元年。
为什么阿里巴巴能成为现在普遍认同的技术领先公司，持续推进数据的大规模运用是其中最重要的因素之一，这套数据方法论最终沉淀下来成为了今天我们所认知的数据中台。
数据中台之所以区别于此前的大数据平台和数据湖，来源于其融合了两大属性：技术属性和业务属性。如果说过去所有的IT解决方案强调的是「IT工具适配业务需求」，那么数据中台所强调的就是「使用数据解决业务问题」，两者的本质区别在于，传统IT解决方案更强调IT成本的降低，而数据中台则更强调使用数据创造利润。
利润可能来自于成本降低，也可能来自于收入增加，或者是来自于数据驱动的业务创新，全看企业需要解决的是什么业务问题，IT成本的降低本身也是数据中台的题中应有之义。
换句话说，要看明白数据中台的未来发展，就必须要从业务开始理解利润，把数据中台当成一个业务概念来理解。
01
纵向优化：端到端的业务挑战
纵观历史，分层和模块化是工业革命以来复杂业务系统得以发展的关键。哪怕是在技术领域，分层优化也是计算机系统的核心思想，统领了过去几十年的发展史。
从这个视角来看，我们大概能把企业的业务和技术发展史划分成4个阶段：
1. 机械时代：计划执行分离，前店后厂；
2. 电气时代：前后台分离，科学管理；
3. 信息时代：模块化、流程化管理；
4. 智能时代：中台化、智能化管理。
从这段历史我们可以看到，今天的企业技术市场，乃至包括企业的组织结构等等，大部分都奠定于第三个时期（信息时代），根据分层和模块化的方式来进行组织。
举例来说，汽车企业的组织形态，就有非常浓厚的第三时期特征。首先，人事、财务和IT构成了企业后台，统一向前提供服务；其次，业务前台围绕车的规划、研发、采购、制造、市销分成4-5个主要的业务事业部，事业部内部横向开展流程化和模块化工作；最后，每个业务模块的外部服务市场，也是根据流程和模块来分布，比如在营销领域，围绕市场调研、品牌咨询、媒体购买、口碑监测等等形成了模块化的市场生态，每个模块内部多家供应商形成横向竞争。
横向竞争的意思是，在模块和分层内部寻求产品和服务的替代者，比如Intel和AMD在PC芯片领域就是横向竞争，横向竞争是第三时期企业服务市场的主要特征。
横向竞争也是企业横向优化的必然结果，企业在管理咨询专家的协助下，优化企业的内部流程和模块，同时每个模块分别向外进行招投标，从一众横向竞争者中优选适配的企业服务。
然而，随着过去十年平台的崛起，竞争态势发生了巨大变化。
如果我们把阿里巴巴、腾讯、美团乃至谷歌、亚马逊的服务版图拉开，我们会发现，每个横向竞争的领域里面几乎都有平台的身影，哪怕不是他们自己的服务，也有他们投资的公司在提供服务。企业在寻求业务服务的时候，哪怕仅仅是在一个细分的模块，也必须考虑到背后涉及的平台，而不能仅仅像第三时期一样，把业务预算切分成不同的蛋糕，让横向竞争者来竞标。
究其原因，平台打破了传统价值链分层竞争的模式，统一顾客（用户和客户）视角，围绕顾客价值链进行了纵向的优化，相比较传统企业只有营销和销售部门面向顾客，平台的每一个部门都在面向顾客，甚至是后台的IT、财务和人事部门，都需要围绕提升顾客体验来贡献价值。
于是，企业服务市场的竞争态势就从价值链分割的横向竞争转向了价值链整合的纵向竞争。「纵向竞争发生在一个渠道或者价值链之上，渠道的每个阶段或者价值链中的参与者，都从为消费者提供的最终产品和服务所产生的收入蛋糕中切分到一块利益。」说这句话的是Scott Brinke，他是《营销的科学与艺术》的作者，2016年底他在评论MarTech市场的时候，第一次总结了「纵向竞争」的现象。
他发现，随着营销日益被平台和数据白盒化，营销领域的横向竞争日渐变成了围绕价值链上下游展开的纵向竞争：过去奥美的竞争者是阳狮，但是今天上游的埃森哲下场纵向收购，成为了这些4A公司最大的竞争对手；过去品牌的营销策略由4A公司和品牌共同商定，今天两方却都需要将brief交给平台来审核，甚至平台自己下场来为品牌量身定制策略，4A公司沦为执行方（参考天猫超级品牌日）。
这种现象不仅仅出现在营销领域，也不仅仅出现在企业外部的服务市场，苹果和特斯拉就是两个在企业内部开展「纵向优化」的代表。
苹果最新的M1芯片，各项性能超越原本的Intel芯片数倍以上，把原本数小时的视频压缩时间生生缩短了70%-80%。完整的「软硬一体」的生态体系和供应链，让苹果有能力不断投入新技术研发，并把技术优势进一步转化成利润。M1就是苹果「纵向优化」的产物，作为一颗SoC，其架构不同于Intel为代表的通用CPU，完全服务于苹果的封闭生态，却带来了体验的超越进步，把Intel的「牙膏」彻底挤没了。
为了提升Model 3的生产效率，马斯克召开了一个 12 人的顶级工程师会议，开启了特斯拉的生产自动化、智能化进程，从研发车床开始重构了冲压、焊接、涂装、装配四大工序，构建了和苹果类似的完整软硬件生态链条，改变了传统供应链高度依赖博世和大陆的分布式架构，采用了全新的中央集成式架构来「纵向优化」汽车制造。
相比较横向竞争，「纵向竞争者争夺的对象，是相对其他竞争者能从总体的收益中获得多少份额。」Scott说，「从客户或消费者的视角出发……离最终客户越近、中间的层级越少、跟客户直接交互的触点越多，公司就越有竞争力。」
京东的「十节甘蔗」理论某种程度上验证了Scott的说法。刘强东把面向消费者的价值链条分成创意、设计、研发、制造、定价、营销、交易、仓储、配送、售后等十个环节，其中前5个归品牌商，后5个归零售商，围绕后5个环节的价值链，京东着力打造了其中的仓储配送能力，通过纵向「吃掉更多的甘蔗节数」成为中国电商的另一个代表平台。
综合而言，以平台为比较对象，未来企业的数字化转型所面临的最大挑战，不是每个模块内部的横向分别优化，而且围绕价值链展开的纵向全局优化，最大难题在于：
1. 业务上：如何统一顾客视角，把高度横向分化的价值模块整合成「以顾客为中心」的纵向价值链条，打造端到端的顾客服务体系（End to End）；
2. 数据上：如何统一开展数据治理，把分散的孤岛数据转变成可信的数据资产，形成全局数据支撑「以顾客为中心」的端到端服务体系；
3. 组织上：如何改变高度依赖横向竞争者的分布式架构，围绕核心价值链构建「以顾客为中心」的平台式架构，从流程驱动转向数据驱动。
另外，需要澄清的是，这里的端到端并不是说不需要进行分层优化和模块优化，而是需要找到更合理的架构来打破原有边界，优化分层和模块，以及链接方式。如果说第三时期的专家是管理咨询专家和IT顾问，那么第四时期的专家就是架构师。
今天企业面临的架构问题，除了传统的技术架构问题，还有数据架构问题，以及和技术和数据相匹配的业务架构问题，同时，企业还需要解决新的商业模型下团队和角色的缺失问题（比如数据科学家），以及如何调整组织架构以适应全新的商业挑战问题。
如果说过去的架构问题是纸老虎，那么，今天的架构问题就是真老虎，必须要通过各种架构师来从根子上进行优化。
02
价值链整合：
以用带通，以通促用
可能不为人所知的是，最早的业务中台和数据中台多多少少都和eBay有关。
eBay作为最早成熟的电商平台，需要服务大量碎片化的商家和碎片化的用户，传统的应用开发方式和部署方式存在大量重复建设和资源浪费的问题。为了解决这个问题，eBay摸索建立了5C（5个中心，包括商品中心、会员中心等等）的业务中台架构雏形，围绕BI需要搭建了「数据采集-数据消费」的数据架构。
后来阿里巴巴的业务中台就脱胎于eBay，淘宝通过五彩石项目复制了5C的方法论，构建了阿里自身的业务中台；支付宝则复制了eBay的BI体系，构建了BI的数据架构，但是这个时候，并没有真正意义上形成数据中台。
奇点云创始人行在曾经是阿里数据的老兵，完整经历了阿里巴巴从数据仓库到数据中台的发展过程，也是阿里云数加平台（现阿里数据中台Dataworks）创始人。他表示，数据中台并不是凭空长出来的，或者是单纯技术进步的产物，而是经历了「看、用、运营」三个阶段，业务需求驱动了数据中台 One Data 方法论真正成型。
最初，业务仅仅是希望用数据来看见「业务发生了什么？怎么发生的？」，数据仅仅支撑了各个事业部内部的BI分析需求，但即使是这样，到2012年，阿里巴巴有50%的服务器都不再进行任何事务处理，而仅仅用于数据分析，可见数据分析的规模。
为了解决海量数据的存储计算问题，阿里巴巴在2009年就开启了云计算的道路，并且以阿里小贷为起点开始了云计算的摸索。然而，回头去看，阿里小贷不仅仅是阿里云的起点，也是数据中台的起点。
行在曾经多次在不同场合表述，阿里小贷项目通过数据实现了低风险高效率的小微金融，让公司决策层达成共识：数据是生产要素，「基于数据才能够产生阿里小贷这样的创新业务；也只有在数据集中融合的基础上，才能够产生这种业务。」
这对于数据中台的诞生有重大意义。
以此为基础，2012年，马云正式提出了「一切数据业务化，一切业务数据化」的数字化转型理念，成为了阿里数据整合的开端。
对当时的阿里巴巴而言，通过构建业务中台，初步重构了面向消费者价值链的平台架构，在后台形成了业务模式复用的能力，但是，在数据上，每个消费者仍然归属于各自的平台，并没有形成统一的消费者视角，平台对消费者也缺乏统一认知。
就在同一年，行在领衔TCIF（淘宝消费者信息工厂）项目，第一次通过 One ID 打通了阿里系所有平台的数据，并在此基础上建立了3000个通用标签。换句话说，不管消费者出现在阿里系哪个平台上，平台都能识别并还原消费者的特征，真正意义上建立了人群定向的能力——围绕消费者实现端到端的精准服务。
2015年，数据中台的 One Data 方法论成型，在此基础上，行在创立了阿里云数加，构建了现在的阿里数据中台Dataworks，第一次公开向客户提供数据中台产品和服务。
在实践过程中，行在形成了两条认知：
第一，围绕数据的「生产-消费」价值链条，传统企业的业务架构和数据架构都有极大的优化空间，数据的市场非常广大；
第二，数据对业务有价值，但数据能力要适配业务的需求，不能过于超前，「大炮打蚊子」的技术自嗨要不得，要围绕业务需求来建设数据能力。
怀抱着让「实体商家都拥有淘宝一样的数据运营能力」的愿景，2016年底，行在离开了阿里，和团队一起开创了奇点云，一家通过提供数据中台服务帮助企业数字化转型的技术公司。
奇点云的独特之处在于，当其他同类公司都把中台赛道当成横向的替代竞争领域时，奇点云从一开始就是奔着帮助企业「纵向优化」建立一方数据价值链的思路，构建了整个端到端的交付能力。
如果我们打开数据「生产-消费」的链条，我们可以把整个数据价值链分成数据生产、数据采集、数据存储、数据计算、数据治理和管理、数据服务、数据应用、数据智能应用等几个大的模块，简化而言就是「存通用」三个主要环节。
奇点云发现，传统企业在过去的数字化转型过程中，仍然采取横向优化的思路，因此，尽管在三个环节上都有尝试，但因为缺乏对数据价值链的认知，并没有形成「以数据为中心」的纵向优化能力，换句话说，数据应用缺少端到端的业务服务能力。
其中：
- 存：核心是数据有和没有的问题，比如购物中心，因为其二房东的商业模式，线下消费者数据趋近于无，需要先解决消费者数据的生产问题；
- 通：核心是数据打通和管理体系的缺失问题，比如车企，尽管拥有大量数据，但是受困于数据孤岛和缺少数据治理，每年生产大量数据但缺少直接可用的数据资产；
- 用：核心是IT和业务缺少协作机制的问题，传统企业的IT和业务部门常常处于分割的立场，IT投入和业务需求常出现脱节的情况，比如在某公司，IT部门做了一万多个融合标签，但是业务部门实际只使用了其中的三四个标签，差距之大令人咋舌。
所以，从一开始，奇点云就认为数据中台应该也必须是一个业务概念，必须要从业务需求出发，「以用带通，以通促用」来赋能企业建设数据「生产-消费」的完整价值链，让企业真正拥有纵向优化的平台能力。
「以用带通，以通促用」的意思是，根据企业的业务目标和业务需求，来确定应该采集和存储哪些数据，打通和治理哪些数据，分析和应用哪些数据，并在这个过程中形成统一的数据资产，促进企业数据能力的不断复用和拓展，建设企业一方端到端的数据服务能力。
行在认为，只有这样，数据中台才是一个完整的概念，「为了上中台而上中台」的项目因为不能产生业务可感知的价值，失败概率极大。
从纵向优化的角度，数据中台真正要解决的是企业所处的价值链各个环节是否能够统一视角，面向顾客，面向供应商和合作伙伴，乃至面向商品，并具备可复用的数据服务能力。
这注定需要在行业内的沉淀和积累，如果只是抱着横向竞争的思路，不断地跨行业去做中台交付，只能沉淀交付经验，并不能真正帮助企业实现纵向优化。因此。奇点云首先选择了泛零售和政府企业服务领域作为核心领域来验证自己端到端的服务体系。
四年过去，端到端的独家服务思路也结出了丰硕成果。在泛零售领域，奇点云服务了500+核心客户，其中每个细分领域的TOP客户50%以上都是奇点云的客户，包括LVMH、lululemon这样的国际大牌都陆陆续续加入了品牌墙。迄今为止，奇点云交付了200+的数据中台项目，零交付失败。
03
数据网络效应：
数据中台赛道增长的关键
过去几年来，火山石资本董事总经理刘昊一直都在看消费和零售领域的互联网创新项目，最近一两年，他发现，国内的消费零售走得非常快，积累了大量的数据，需要在IT化和互联网化的基础上有更大的体系化突破能力。
刘昊认为，过去的纯业务创新，更关注从0到1的突破，但是今天面临线上电商化、线下数字化的现状，需要线上线下一起推进，共同关注系统层面的效率最大化——公司上下「万众一心办大事」在体系建设上最有效率，也更能帮助业务创新实现体系化突破。
在关注泛零售行业赋能的数据应用过程中，刘昊观察并形成了三个数据的基本认知：
1. 数据应用的pattern（模型）是有价值的，可以通过标杆客户训练认知和模型，不断地复用，来扩大企业的边际优势；
2. 数据应用需要形成良性循环，从定义客户（可复用价值），到创造价值，再到正向促进客户持续使用数据验证价值；
3. 数据的企业服务要有可被量化的实际结果：投入多少成本，多久能收回成本，交付的结果能给客户带来多大提升。
随着数据价值链上下摸索的过程中，数据中台自然而然地进入了刘昊的视野，在看了一圈项目之后，刘昊发现，奇点云最符合他的三个认知：
第一，奇点云想清楚了怎么从客户经验中积累和复用方法论的问题，整体思考路径比较统一，有所为有所不为；
第二，数据应用正在形成正向循环，从发掘数据持续积累的价值走向封装成标准应用的价值；
第三，给客户创造的价值可被验证，客户能说清楚带来了什么短期效果和长期效果。
更重要的是，他看到了数据网络效应的增长前景。
「数据应用本身带着一定的网络效应，」刘昊说，「当数据不断地在不同的单点上创造价值，越到后面，网络效应就越强……数据打通层面能不能形成网络效应决定了赛道什么时候爆发。」
网络效应众所周知描述了网络带来的某种飞轮效应，那么，什么是数据网络效应呢？
让我们用一张图来说明：
简单来说，数据网络效应并不是类似梅特卡夫效应这样的节点扩张效应，而是建立在数据解决业务问题能力上形成的正向循环飞轮。
首先，最难的部分是如何通过冷启动形成内圈闭环，也就是通过使用旧的数据分析和解决业务问题，并收集新的（改善）数据来解决新的业务问题，不断循环往复形成迭代机制。这个过程并不能产生网络效应，但这是网络效应的基础；
其次，要从数据「生产-消费」价值链的自动化开始，逐步走向智能化的数据应用模型复用。举个例子，数据分析师在分析数据的时候，分成数据采集、数据清洗、数据透视和分析、数据可视化等几个步骤，大部分传统企业的数据分析师，有80%的精力都花在数据采集、数据清洗和数据可视化上，而真正应该投入精力去做的数据透视和分析，却通常只占了他们10%-20%的精力和时间。
奇点云在给某集团提供数据服务的过程中，通过数据自动化采集、数据治理等手段，实现了秒级出具单据和T+1的报表产出，每天上午8点经理上班后就能看到前一天的业务结果，而原本所需要的时间分别为30分钟和一周，仅此一项，就给集团贡献了每年至少500万的费用节省。
最后，数据应用最终一定指向智能应用，也就是让人做人应该做的事情，机器做机器该做的事情，来减少人在高频重复场景下的投入，降低人的使用难度，只有智能应用才真正驱动飞轮成型。
使用难度的降低，一方面会带来使用数据解决问题能力的极大提升，用数据解决更多业务问题，另一方面也会带来使用规模的提升，哪怕是一线的普通员工，也可以使用数据进行自我决策，也可以根据数据推荐结果来判断如何服务当面的顾客。这两者都会带来更多的新数据来训练智能应用，从而真正带动飞轮的增长，产生数据网络效应。
德同资本合伙人陆宏宇一直关注新消费和TMT领域，从2016年起就关注大数据的进展，包括阿里云数加平台的最新实践，但当时他认为大数据发展仍在早中期阶段 ，信息化才是企业服务的第一步，数据中台需要更多观察。
直到近一两年，「数字化的渗透率提升、云计算的渗透率升高、企业客户对智能化意识的提升，大数据+AI的机会才真正到来」，特别对于零售客户，疫情也推动了其数智化转型进程。陆宏宇认为，只有沉淀行业经验、规范交付体系、建立合作生态、打造品牌势能，借助渠道和快速交付能力，数据中台企业才能够实现更快速的增长。奇点云坚持初心，追求以客户成功为基础的稳健增长，已逐步构建起了自身的能力圈和护城河。
2020年9月，德同资本和火山石一起领投了年初以来一直盈利的奇点云。在当年年末，奇点云还获字节跳动领投B2轮，老股东IDG资本跟投。
04
数智未来：
从数据中台上云到云上数据中台
那么，现在的数据中台就是「纵向优化」的终点了吗？
奇点云合伙人地雷并不这么认为。
最近，他服务了一个企业客户，客户主营业务属于跨国业务，采用了混合云架构（私有云+国内公有云+国外公有云），混合云的计算性能低下，寻求奇点云的帮助。
地雷诊断后发现，最直接的原因是企业的灾备策略和云的灾备策略冲突了。举例来说，该客户的同一份数据，公有云已经进行了「一备三」的灾备，而企业自身因为混合云架构也进行了「一备三」的灾备，里外里就是九份灾备。也就是说，客户业务的一次数据计算，理论上只应该涉及三份备份，但实际上却涉及了九份备份，原本按照三份备份设计的算力自然就不够用了。
而且，这并不是孤例。
随着越来越多的企业上云，会出现更多跨平台跨国界的案例，企业上云可能不只有一朵云，而是两朵甚至更多云。
跨平台多云，最大的麻烦在于数据应用的开发、部署和迁移。地雷表示，现在通用的数据架构并没有充分运用云的特性，仍然属于「上云」的范畴，带来的麻烦在于：
第一，数据应用的开发、部署对云环境有依赖性，同一个需求，阿里云开发的数据应用和华为云开发的数据应用并不相同，而且数据应用不能在多云多领域间方便的迁移；
第二，弹性计算扩充资源的时候带来极大的资源浪费，因为现在云计算的售卖方式是把存储节点和计算节点打包成一个虚拟机，如果企业算力不足，弹性扩充的时候购买的是一台台虚拟机，也就是说，企业如果需要购买30个计算节点，那么，也会被迫购买30个存储节点，这额外的30个存储节点就属于无效购买。
在地雷看来，过去基于数据中台的纵向优化方案，更多的应该称为「数据中台上云」，也即通过业务的数据架构优化，来解决数据能力复用和数据可信的问题；而未来的纵向优化方案，则可以称为「云上数据中台」，即完全基于云计算的特性来设计数据架构，从存储和计算分离开始，从业务、技术、组织三方来共同开展纵向优化，实现企业端到端的成本管控和能力输出。
基于云计算的特性，在技术领域被称为「云原生」，可以充分释放云的红利：通过容器化来实现数据应用在多云多领域间的方便迁移，解决异构环境的部署一致性问题、资源标准化问题，进一步降低了数据的使用门槛，为自动化和智能化服务打下良好的基础；通过存储和计算分离，充分利用云的特性，增加数据中台弹性伸缩能力的同时，帮助客户降低存储成本到原来的1/3。
云上数据中台才是未来。
在过去四年的实践中，奇点云完善了「数据中台上云」的业务纵向优化方案，领跑泛零售数据中台，2021年，奇点云已经开启「云上数据中台」的星辰大海，进一步在技术上领跑同行，真正开启数据网络效应的大门。
标签：赛道,架构,之上,纵向,业务,奇点,中台,数据网络,数据 来源： https://blog.csdn.net/StartDT/article/details/113243107