MapReduce找共同好友
文章目录
介绍
|
|
问题 » 现在有一组日志数据,A-O用户,分别有各自关注的用户,需要知道两两共同好用是那些用户
下面使用MapReduce的方式来解决
先来用图片的方式看看买个阶段处理的结果过程和介绍
第三列下面还有很多,省略显示了
很明显两步计算得到了结果
先梳理下解决思路
-
找到用户被哪些用户关注了
例如: A 被I,K,C,B,G,F,H,O,D 关注了
-
两两关注的人就有共同的用户
例如: I和K的共同好友就是A, C和I的共同好友就是A
代码环境配置
|
|
用MapReduce解决此问题,需要也是需要两个步骤
第一步
需要从0环节中处理成1环节的结果
第一次Map
|
|
DEBUG
|
|
第一次Reduce
|
|
DEBUG
|
|
第二步
第二次Map
|
|
DEBUG
|
|
第二次Reduce
和第一次Reduce代码一致
|
|
DEBUG
|
|
总结
Map用来映射新的结构,Reduce用来汇总结果
文章作者 拉斐
永久链接 https://www.7benshu.com/post/2020/01/10-1/
版权声明
本作品采用知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议进行许可。
上次更新 2020-07-15
7本书-公众号