浅谈分布式任务调度---xxljob

概念：

XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。xxl三个字母是其开发者许雪里名字的缩写。

 

几个特性：

1、简单：支持通过Web页面对任务进行CRUD操作，操作简单，一分钟上手；
2、动态：支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效
3、注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行，每30秒清理一次注册表中的无效机器。同时，也支持手动录入执行器地址；
4 、失败处理策略：每10秒检测失败任务，报警和重试；
5、一致性：“调度中心”通过DB锁保证集群分布式调度的一致性, 一次任务调度只会触发一次执行

 

架构图：

执行流程：

1、“调度中心”向“执行器”发送http调度请求: “执行器”中接收请求的服务，实际上是一台内嵌jetty服务器，默认端口9999;
2、“执行器”执行任务逻辑；
3、“执行器”http回调“调度中心”调度结果: “调度中心”中接收回调的服务，是针对执行器开放一套API服务;

 

.触发算法：

1.早期：基于quartz.现在：timewheel时间轮，这个时间轮本质就是一个Map<Integer, List>
拿到了距now 5秒内的任务列表数据：scheduleList，分三种情况处理：for循环遍历scheduleList集合

（1）对到达now时间后的任务：（任务下一次触发时间+5s<now)：直接跳过不执行； 重置trigger_next_time；

（2）对到达now时间后的任务：(任务下一次触发时间<now<任务下一次触发时间+5s)：线程执行触发逻辑； 若任务下一次触发时间是在5秒内， 则放到时间轮内（Map<Integer, List> 秒数(1-60) => 任务id列表）；再 重置trigger_next_time

（3）对未到达now时间的任务（任务下一次触发时间>now）：直接放到时间轮内；重置trigger_next_time 。

 

一致性保证

为了避免多个服务器同时调度任务， 通过mysql悲观锁实现分布式锁（for update语句）

1 setAutoCommit(false)关闭隐式自动提交事务，

2 启动事务select lock for update（排他锁）

3 读db任务信息 -> 拉任务到内存时间轮 -> 更新db任务信息

4 commit提交事务，同时会释放for update的排他锁（悲观锁）

任务处理完毕后，释放悲观锁，准备等待下一次循环。

 

标签：执行器,触发,now,浅谈,调度,---,任务,任务调度
来源： https://www.cnblogs.com/zuoyi2319516228/p/16503726.html