（31）功能 2：利用 Redis 过滤当日已经计入的日活设备

2.3.1 思路 ➢ 利用 Redis 保存今天访问过系统的用户清单 即 SparkStreaming 从 Kafka 中读取到用户的启动日志之后，将用户的启动日志保存 到 Redis 中，进行去重 ➢ 根据保存反馈得到用户是否已存在 Redis 的五大数据类型中，String 和 Set 都可以完成去重功能，但是 String 管理不适 合整体操作，比如设置失效时间或者获取当天用户等操作,所以我们项目中使用的是 Set 类型，处理批量管理以外，还可以根据 saddAPI 的返回结果判断用户是否已经存在

 2.3.2 代码实现

 

 

2.3.3 测试 ➢ 启动 Zookeeper ➢ 启动 Kafka ➢ 启动 logger.sh（日志处理服务-Nginx 和 SpringBoot 程序） ➢ 启动 Redis ➢ Idea 中运行程序 ➢ 运行模拟生成日志的 jar 注意：因为涉及 classpath 环境变量，要切换到 jar 包所在目录下执行 ➢ 查看输出效果

 

标签：启动,jar,31,Redis,用户,日活,2.3,日志
来源： https://blog.csdn.net/song_quan_/article/details/118928622