DolphinScheduler简介

Apache DolphinScheduler是一个分布式、易扩展的可视化DAG工作流任务调度平台。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

DolphinScheduler核心架构

 

 

DolphinScheduler的主要角色如下：

MasterServer采用分布式无中心设计理念，MasterServer主要负责 DAG 任务切分、任务提交、任务监控，并同时监听其它MasterServer和WorkerServer的健康状态。

WorkerServer也采用分布式无中心设计理念，WorkerServer主要负责任务的执行和提供日志服务。

ZooKeeper服务，系统中的MasterServer和WorkerServer节点都通过ZooKeeper来进行集群管理和容错。

Alert服务，提供告警相关服务。

API接口层，主要负责处理前端UI层的请求。

UI，系统的前端页面，提供系统的各种可视化操作界面。

DolphinScheduler的使用

安全中心

队列管理

Yarn调度器的资源队列。此处创建出的队列，可供后续任务进行选择。

注意：在DolphinScheduler中创建队列，并不会影响到Yarn调度器的队列配置。

租户管理

租户对应的是Linux系统用户，是Worker执行任务使用的用户。如果Worker所在节点没有这个用户，Worker会在执行任务时创建这个用户。

租户编码：对应Worker执行任务所使用的用户名。

租户名称：用于在DolphinScheduler中显示。

队列：该租户提交Yarn任务时的默认队列。

用户管理

用户对应的是DolphinScheduler的用户，用于登录DolphinScheduler。

用户分管理员用户和普通用户。默认情况下，管理员只有授权和用户管理等权限，而普通用户只有创建项目，定义工作流、执行工作流等权限。

告警组管理

告警组可包含多名用户，用于指定告警发送对象。

Worker分组管理

在任务执行时，可以将任务分配给指定Worker组，最终由该组中的Worker节点执行该任务。默认情况下，所有Worker均位于default组。

令牌管理

令牌用于通过接口访问DolphinScheduler各项服务时的用户验证。普通用户通过UI页面访问各项服务时，无需使用令牌。若需将DolphinScheduler与第三方服务进行集成，则需调用其接口，此时需使用令牌。

项目管理

工作流定义

用于定义工作流，包括工作流各节点任务详情及各节点依赖关系等。

工作流实例

工作流每执行一次就会生成一个工作流示例。此处可查看正在运行的工作流以及已经完成的工作流。

任务实例

工作流中的一个节点任务，每执行一次就会生成一个任务实例。此处可用于查看正在执行的节点任务以及已经完成的节点任务。

标签：总结,知识点,队列,DolphinScheduler,Worker,用户,任务,节点
来源： https://www.cnblogs.com/jpppp/p/16277246.html