需求：

用spark来进行数据ETL：

• 清洗：

  • 去除json数据中的废弃字段
  • 过滤json格式不正确的脏数据
  • 过滤日志中的account及deviceid全为空的记录
  • 过滤日志中缺少关键字段（properties/eventid/sessionid缺一不可）的记录
  • 过滤日志中不符合时间段的记录（由于app上报日志可能的延迟，有数据延迟到达）
  • 对于web端日志，过滤爬虫请求数据（通过useragent标识来分析）

• 转换：

  • 将json打平，解析成扁平结构，主要是里面json的事件日志
  • session分割：
    • 对于web端日志，按天然session分割，不需要处理
    • 对app日志，由于使用了登录保持技术，导致app进入后台很长时间后，再恢复前台，依然是同一个session，不符合session分析定义，需要按事件间隔切割（业内通用：30分钟）
    • 对于wx小程序日志，与app类似，session有效期很长，需要按事件间隔时间切割
  • 数据规范处理：
    • boolean字段，在数据中有使用1/0/-1标识的，也有使用true/false表示的，统一为Y/N/U
    • 字符串类型字段，在数据中有空串，有null值，统一为null值（这个很重要，会影响计算）
    • 日期格式统一：2020/9/2  2020-9-2 20200902等都统一变成YYYY-MM-dd

• 集成：

  • gps坐标解析为省、市 、县信息，方便后续的地域维度分析
  • 若gps找不到的地域信息，使用ip进行解析
  • id_mapping：为每个用户生成一个全局唯一标识（给匿名访问，绑定到一个id上，漏斗、留存、session）

操作实现：

测试：

标签：操作手册,过滤,app,ODS,json,session,DWD,日志,数据
来源： https://blog.csdn.net/qq_36269641/article/details/111328728