首页 > TAG信息列表 > ItemViewCount
基于flink的电商用户行为数据分析【2】| 实时热门商品统计
前言 在上一期内容中,菌哥已经为大家介绍了电商用户行为数据分析的主要功能和模块介绍。本期内容,我们需要介绍的是实时热门商品统计模块的功能开发。 首先要实现的是实时热门商品统计,我们将会基于UserBehavior数据集来进Flink模拟项目: 计算最热门Top N商品
为了统计每个窗口下最热门的商品,我们需要再次按窗口进行分组,这里根据ItemViewCount中的windowEnd进行keyBy()操作。然后使用ProcessFunction实现一个自定义的TopN函数TopNHotItems来计算点击量排名前3名的商品,并将排名结果格式化成字符串,便于后续输出。 .keyBy("windowEnd")Flink自定义aggregate聚合函数的步骤
第一步:将dataStream转换城windowedStream // 从kafka读取数据 val inputStream = env.addSource(new FlinkKafkaConsumer[String]("hotitems", new SimpleStringSchema(), properties)) .map(data => { val dataArray = data