其他分享
首页 > 其他分享> > 藏不住了，Flink 未来发展的最新方向在这里！

藏不住了，Flink 未来发展的最新方向在这里！

作者：互联网

藏不住了，Flink 未来发展的最新方向在这里！

Flink 社区 Flink 中文社区

距离 11 月 28 日 Flink Forward Asia 大会重磅开启还剩 3 天！之前我们详细介绍了围绕 Apache Flink 及其核心技术开设的五大专场，包括：企业实践、Apache 核心技术专场、开源大数据生态、实时数仓 、人工智能五大专题详细内容。

除分会场细分方向的主要内容外，Flink Forward Asia 2019 主会场更以顶级阵容与你一起探索强大算力关键技术与数字化转型未来风向。主会场亮点概览：

  1. 阿里巴巴集团首席技术官，阿里云智能总裁张建锋开场分享 《开放的云，数据的云，智能的云》 ，带来关于云智能时代的思考；
  2. Apache Flink 创始人之一 Stephan Ewen 分享 Flink 未来发展最新方向；
  3. Flink 中国社区发起人王峰总结回顾社区发展并将揭晓重磅发布；
  4. 戴尔科技集团副总裁 Srikanth Satya 与软件开发总监滕昱共同分享可靠的流式架构框架；
  5. 国际交通网络公司 Lyft 的徐赢和高立分享基于 Apache Flink 的大规模准实时数据分析平台建设实践；
  6. 首届 Apache Flink 极客挑战赛赛程回顾及颁奖；

主会场部分精彩议题前瞻：

Stateful Functions: Building general-purpose Applications and Services on Apache Flink

Stephan Ewen
Apache Flink PMC,Ververica Co-founder, CTO

本次分享将会为大家介绍 Apache Flink 中最新的“Stateful Functions”API。

近年来，在 Kubernetes 等技术的推动下，针对无状态计算的编排技术已经取得了长足进展。甚至可以说，无服务的计算和 FaaS（Functions-as-a-Service）正在颠覆我们构建和操作无状态应用的方式。然而它们都无法满足分布式有状态应用的需求。原因在于此类应用中的状态处理需要保持一致性，且状态化服务的交互在面对网络、节点或软件故障时需要保持可靠。能否良好地解决上述问题，将直接决定应用是能够做到正确且可伸缩，还是在发故障时会停止运行或产生错误的结果。

Stateful Functions API 以一种全新的方式解决了上述问题。它将流处理和 FaaS 的优势结合，为下一代事件驱动应用提供了一种强大的抽象。

Apache Flink Heading Towards A Unified Engine

王 峰

阿里巴巴资深技术专家，实时计算负责人

随着近些年的快速发展，Apache Flink 已经在实时计算领域成为用户的主流选择。但在实际生产场景中，用户往往同时需要在实时和离线两套环境中同时处理相同的业务逻辑，甚至在批流计算模型之间无缝切换，因此 Flink 也将继续向前发展，基于其流式计算内核优势，实现批流融合统一引擎，并与目前主流的数仓解决方案 Hive 进行无缝集成。

此外，随着 AI 场景的爆发，其对大数据计算能力也提出了更多的需求，因此 Flink 下一步也将加大对 AI 场景的支持，进一步完善其迭代计算能力，支持更多传统机器学习算法，与 TensorFlow/PyTorch 等深度学习框架更好的集成，支持 Python API，给用户提供一站式的大数据+AI 解决方案。

Reliable Streaming Infrastructure for the Enterprise

这个主题分享将介绍 Dell 科技集团是如何把流处理技术带入企业开发企业存储这个成熟但充满挑战的领域。对于不少嘉宾来说，“ToB”可能意味着完全不一样的思路和特性。

首先我们会分享为什么流处理技术对企业开发领域有着吸引力，其实不外乎以下两点:

  1. “接近于0延迟的实时处理“能力可以让企业用户从已有的数据集中产生新的商业模式，带来新的经济效益。
  2. 可以获得一个统一的流/批处理统一的基础架构，降低客户在数据存储上的花费。几乎所有的企业用户对于在大数据存储上的额外开销都非常在意。

再者，对于企业开发领域，又有哪些关键点是吸引或是阻止他们采用新技术呢：

  1. 需要减低新技术的门槛，尽量兼任已有成熟的编程模型，这里面 FlinkSQL 就是一个很好的例子。
  2. 需要一个成熟的“开箱即用“的统一平台，适应混合云/多云的部署。并提供稳定性，安全性和易 InternalUse-Confidential 支持的特性。而这三点往往是决定”ToB“产品成败的关键所在。

最后，我们会带来一个真实的企业用例，用真实的测试结果来证明全新的流式处理架构的威力。

Lyft 基于 Apache Flink 的大规模准实时数据分析平台

徐赢博士是 Lyft 数据平台流媒体平台的技术领导（Technical Lead），目前主导准实时数据分析平台的架构开发。在 Lyft 之前，他曾在领英(Linkedin)以及 IBM 担任技术领导职位，主导领英跨数据中心数据库复制的上线，以及 IBM 高速数据传输技术的研发。

高立博士在 Lyft 的数据平台团队中工作，目前领导 Lyft 数据平台内的多个数据基础架构项目，包括实时数据仓库，自服务机器学习平台项目等。 曾在 Salesforce，Fitbit，Groupon 和其他初创公司担任关键技术领导职务。

在演讲中, 我们将陈述 Lyft 的准实时大数据分析平台。目前在这个平台上每天处理数千亿的实时事件。Flink 是这个平台上链接实时流式处理和离线批处理的桥梁。Flink 集群负责从云端 Pubsub 系统提取数据, 并且将数据批编码并上传至类似于 AWS S3 的云存储上. 我们将讨论如何在上传的数据基础上架构基于开源 Presto 引擎的交互式查询, 如何利用 Flink 的基于事件时间的处理机制来驱动下游的抽取-转换-加载(ETL)进程, 如何应对不可预测的系统故障, 以及在扩展数据架构的实践中所吸取的经验教训。

标签：Lyft,Flink,藏不住,实时,最新,平台,Apache,数据
来源： https://blog.51cto.com/15023245/2620928