你好,游客 登录
背景:
阅读新闻

spark面试问题汇总(持续更新....)

[日期:2017-09-18] 来源:CSDN  作者:mayuoo [字体: ]

spark-submit的时候如何引入外部jar包
spark shuffle的具体过程,你知道几种shuffle方式
spark 如何防止内存溢出
cache和pesist的区别
怎么处理数据倾斜
​简要描述Spark分布式集群搭建的步骤

spark使用:
1)当前文件a.text的格式为,请统计每个单词出现的个数、计算第四列每个元素出现的个数
A,b,c,d
B,b,f,e
A,a,c,f

2)在(url,user)的键值对中,如
a.text
127.0.0.1 xiaozhang
127.0.0.1 xiaoli
127.0.0.2 wangwu
127.0.0.3 lisi
…..
B.text
127.0.0.4 lixiaolu
127.0.0.5 lisi
127.0.0.3 zhangsan
每个文件至少有1000万行,请用程序完成一下工作,
1)各个文件的ip数
2)出现在b.text而没有出现在a.text的IP
3)每个user出现的次数以及每个user对应的IP的个数
4)对应IP数最多的前K个user

收藏 推荐 打印 | 阅读:
相关新闻       spark面试题