Flink实时收集疫情异常信息

背景:公司疫情填报系统。公司有A、B两类员工，每日需要填写疫情相关的信息。这批数据存在mysql之中，个人填报信息每天最多存1条记录，多次提交的数据会将最新记录保留。其中主要涉及三张表，一张员工信息表、一张在公司的疫情填报表，一张不在公司的疫情填报表。两张表中关联字段user_id。

整体的处理思路:kafka -> flink -> redis
flink中清洗思路:kafka数据:MySQL的操作日志。主要有INSERT和DELETE对三张表的操作类型；三张表中员工表作为中间表，进行两两关联；再将关联的流在根据异常标准过滤出来，最后在分成A、B两种类型写入到Redis中。

整体的思路:JSON流 -> INSERT流 和 DELETE流(分流) 
                   INSERT流 -> 三张表的字符流 (过滤) -> 将字符流转换为对象流
                   员工对象流作为中间流，两两关联 -> 变成两条字符流(关联)
                   两条字符流 -> 两条异常信息流(过滤) -> 变成四条字符流(根据A、B类型过滤)  -> 字符流转换成对象流
                   四条对象流 -> Redis 

标签：字符,疫情,填报,INSERT,Flink,实时,关联,三张
来源： https://blog.csdn.net/morsunlight/article/details/113680109