其他分享
首页 > 其他分享> > spark分析网吧同行朋友思路

spark分析网吧同行朋友思路

作者:互联网

spark分析网吧同行朋友思路

浪院长 浪尖聊大数据

有粉丝留言了一个这样的问题


你好,我们现在正好遇到一个spark的问题。
在mysql库中有2.5kw网吧轨迹数据,
需要计算同行关系:计算两人在相同网吧十分钟前后上下网三次及以上
(如:a和b在19号十分钟前后出现在了A网吧,又在21号十分钟前后出现在了B网吧,
再在22号十分钟前后出现在了D网吧)
就需要保留他们的身份ID和一起上下网的次数。
2.5kw轨迹中有8k+网吧请问有什么思路吗?

如果flink有更好的处理方式也可以。

使用用一个mysql的连接器,但是这东西需要配置一个分区列。

直接用的网吧编号。这样会分8000多分区(而且后面的逻辑也没有用到这个分区列),
是不是有问题?今天测试了一下。
两个网吧,3w多数据,两个小时没跑完。。
(我们是先用连接器抽出数据,按照网吧分组计算单次然后聚合筛选3次及以上的)
网吧数据从几条到几万条不等。

分区列的问题解决:
可以采用时间戳(long型)分区,会造成多余的一次shuffle。
自定义jdbcRDD,我记得以前分享过网上也有资料,这样就可以自定义分区策略了。数据还是要有明显的分区列的。
增加自增ID列。

处理思路:

  1. 按照网吧ID进行group by,然后同组内两两组合,判断A,B进入网吧时间差值是否小于10min,同时判断离开网吧的时间是否相差10min以内,如果两者都是true就保留,否则过滤。保留人物ID要进行两两组合,比如,A#B;两者的顺序可以定义个排序策略,比如字符串的话字典排序,这样下面可以用。flatmap展开之后key和value翻转。
  2. 然后在进行一次group by(key),此时的key就是A#B的组合了,value是网吧,然后统计value的size是否大于三。
  3. 有疑问就是两个人相同时间下班,住的距离比较近,就经常去相同的离他们都近的网吧,同时上下网,不是同行,确实巧合。这个是否要处理。
  4. 相约同一网吧。
    其它,肯定还有其它问题或者思路欢迎大家留言。
    这应该是没有敏感信息吧,会不会被你同事看到。

标签:key,同行,十分钟,网吧,spark,ID,分区
来源: https://blog.51cto.com/15127544/2660563