首页 > 其他分享> > Dinky实时计算平台

Dinky实时计算平台

2022-08-13 16:02:32 作者：互联网

前言：Apache Flink 作为新一代的实时计算框架已经被应用到各个行业与领域，其岂存在着应用的痛点比如 FlinkSQL 在线IDE、作业提交不友好、作业无监控报警等。很大程度上说，FlinkSQL 加快了 Flink 的应用推广，而开源项目 Dinky 改善了 Flink 的部分痛点问题来优化 FlinkSQL 应用体验。

概述：实时即未来，Dinky 为 Apache Flink 而生，让 Flink SQL 纵享丝滑，并致力于实时计算平台建设。Dinky 基于 Apache Flink 进行扩展，增强 Flink 的应用与体验，探索流式数仓。即站在巨人肩膀上创新与实践，Dinky 在未来批流一体的发展趋势下潜力无限。

由来：Dinky（原 Dlink）：

Dinky 英译为 “ 小巧而精致的 ” ，最直观的表明了它的特征：轻量级但又具备复杂的大数据开发能力。
为 “ Data Integrate No Knotty ” 的首字母组合，英译 “ 数据整合不难 ”，寓意 “ 易于建设批流一体平台及应用 ”。
从 Dlink 改名为 Dinky 过渡平滑，更加形象的阐明了开源项目的目标，始终指引参与者们 “不忘初心，方得始终 ”。

演进历程：Dinky 开源一周年了

系统架构

特点：一个 开箱即用 、易扩展 ，以 Apache Flink 为基础，连接 OLAP 和 数据湖 等众多框架的 一站式 实时计算平台，致力于 流批一体 和 湖仓一体 的建设与实践。主要目标：

沉浸式 FlinkSQL 和 SQL 的数据开发平台：自动提示补全、语法高亮、语句美化、语法校验、调试执行、执行计划、MetaStore、血缘分析、版本对比等
支持多版本的 FlinkSQL 作业各种提交方式： Local、Standalone、Yarn/Kubernetes Session、Yarn Per-Job、Yarn/Kubernetes Application
支持 Apache Flink 所有原生及扩展的 Connector、UDF、CDC 等
支持 FlinkSQL 语法增强：兼容 Apache Flink SQL、表值聚合函数、全局变量、执行环境、语句合并、整库同步、共享会话等
支持易扩展的 SQL 作业： ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、SqlServer 等
支持 FlinkCDC（Source 合并）整库实时入仓入湖
支持实时调试预览 Table 和 ChangeLog 数据及 Charts 图形展示
支持 Flink 元数据、数据源元数据查询及管理
支持实时任务运维： 上线下线、作业信息、集群信息、作业快照、异常信息、数据地图、数据探查、历史版本、报警记录等
支持作为多版本 FlinkSQL Server 以及 OpenApi 的能力
支持易扩展的实时作业报警及报警组：钉钉、微信企业号、飞书、邮箱等
支持完全托管的 SavePoint/CheckPoint 启动及触发机制：最近一次、最早一次、指定一次等
支持多种资源管理：集群实例、集群配置、Jar、数据源、报警组、报警实例、文档、用户、系统配置等

优化Flink体验

1、沉浸式的 FlinkSQL IDE

Apache Flink 提供了 sql-client，但 sql-client 仅作为一个 beta 的功能，难以被应用到生产中
Dinky 提供了沉浸式的 FlinkSQL IDE 开发能力，提供了自动提示与补全、语法高亮、语句美化、语法校验和逻辑检查、调试预览结果、字段级血缘分析等专业的功能，使 FlinkSQL 的开发如同 SQL 开发一样舒适与简单

2、极易用的任务构建方式

Flink 在构建 FlinkSQL Jar 任务时通常需要考虑依赖及版本的维护、代码的编写、繁琐的编译打包过程等。
Dinky 将 FlinkSQL 任务的构建进行了极简，开发人员只需要专注 FlinkSQL 的口径书写，并且可以实时进行检查与调试，在任务提交的过程则是快速的自动化托管，以实现一个 FlinkSQL 语句可以在所有的执行模式与外部集群上随意切换。
对于 Dinky 来说，主要划分两类用户。一类是平台运维人员，该人员需要根据官网文档及自身的 Flink 知识储备来手动搭建稳定的 Dinky 运作环境，门槛较高；另一类是数据开发人员，该类人员只需熟悉 FlinkSQL 的语法与常见的应用场景，即可快速高效地进行 FlinkSQL 的开发与运维，达到易用的任务构建方式。这也是最符合企业生产团队的分工策略，平台和开发分离。

3、无侵入的部署模式

一些开源项目或自建平台通常需要绑死 Flink 集群或者侵入 Flink 的源码，容易 Flink 功能受限或在搭建和后续扩展时出现问题。
Dinky 则是完全无侵入，可部署与各个集群之外，同时连接和监控多个集群。轻易地对接各个版本的 Flink 集群与公司内仓库分支优化过的 Flink 集群，完全兼容 Flink 自身的 connector、udf、cdc 等。

4、增强式的功能体验

一些开源项目及自建平台一般只专注于 Flink 任务的提交与运维。
Dinky 则不同，为更舒适地使用 Flink 的相关功能进行的功能增强，如表值聚合函数、全局变量、CDC多源合并、执行环境、语句合并、共享会话等，并且还在不断地扩展新的功能增强，以使 Flink 更贴近企业的需求。

5、实时的监控报警

Dinky 提供实时的监控报警能力，实时守护已上线的流或批任务，在任务触发异常停止和成功完成时都会实时报警通知，并且记录了外部集群实时的任务信息，摆脱 History Server 的限制，弥补 deploy 的集群作业失败后信息难查询的不足，用户随时随地都可追溯历史作业的执行信息与异常。

6、一站式的开发运维

Dinky 提供了一站式的开发运维能力，从 FlinkSQL 开发调试到作业上线下线的运维监控，再到数据源的 OLAP 及普通查询能力等，使得数仓建设或数据治理过程中所有的工作均可以在 Dinky 上完成。

7、易扩展的代码实现

Dinky 非常注重代码的扩展能力，在源码中大量使用了 SPI 机制来支持用户低成本地自定义扩展新功能，比如数据源、报警方式、自定义语法等扩展。
Dinky 的功能体验也十分注重扩展能力，在功能设计上尽可能地开放了最大的配置能力，如自定义提示与补全语法、自定义数据源的Flink 配置与生成规则、自定义全局变量、自定义Flink执行环境、自定义集群配置的各种配置项等等。
Dinky 的外部对接也很注重扩展能力，基于 SpringBoot 的代码的高内聚和低耦合以及提供多种规范的 OpenAPI 使其可以很方便地扩展第三方生态、微服务或者平台。

8、小而美的产品形态

常规的大数据平台或者开源项目一般是十分庞大的，维护成本较高。
正如 Dinky 本名所释，小巧而精美，一直是开源项目建设的首要目标。小巧具体指易搭建、不绑定任何外部中间件或文件系统、代码简洁易维护；精美则指沉浸式的页面、经过打磨的各种功能等。

Next

1、多租户及命名空间

Dinky 目前需要一个多租户的能力来分离业务数据及资源队列，需要命名空间来增强和规范代码业务逻辑的实现与扩展。

2、全局血缘与影响分析

Dinky 目前需要将所有的字段级血缘进行存储，以构建全局的血缘和影响分析，方便用户更容易地追溯数据问题。

3、统一元数据管理

Dinky 目前需要统一的元数据中心来管理外部数据源元数据，使其可以自动同步数据库物理模型与平台逻辑模型之间的结构，增强平台一站式的开发能力。

4、Flink 元数据持久化

Dinky 目前需要持久化 Flink Catalog，使作业开发时不再需要编写 CREATE TABLE 等语句，转变为可视化的元数据管理功能。

5、多版本 Flink-Client Server

Dinky 目前的 Flink 多版本支持需要启动多个不同版本的实例来支持。未来需要实现客户端与服务端分离，单独实现多版本的 Server。

6、整库同步

数据库的整库同步是一个常见的场景，Dinky 未来将提供一个简短的 FlinkSQL 实现整库同步任务构建的能力。

案例：

参考

标签：平台,Dinky,FlinkSQL,Flink,扩展,实时,集群
来源： https://www.cnblogs.com/tgzhu/p/16577009.html