你好,游客 登录
大数据面试题 的搜索结果
第一部分、十道海量数据处理面试题
  1、海量日志数据,提取出某日访问百度次数最多的那个IP。
  此题,在我之前的一篇文章算法里头有所提到,当时给出的方案是:IP的数目还是有限的,最多2^32个,所以可以考虑使用hash将ip直接存入内存,然后进行统计。
  再详细介绍下此方案:首先是这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大...
http://bigdatastudy.net/show.aspx?id=156&cid=14日期:2017-9-13 12:20:47
1、海量日志数据,提取出某日访问百度次数最多的那个IP。
http://bigdatastudy.net/show.aspx?id=155&cid=14日期:2017-9-13 12:19:10
首先处理大数据的面试题,有些基本概念要清楚:
(1)1Gb = 109bytes(1Gb = 10亿字节):1Gb = 1024Mb,1Mb = 1024Kb,1Kb = 1024bytes;
(2)基本流程是,分解大问题,解决小问题,从局部最优中选择全局最优;(当然,如果直接放内存里就能解决的话,那就直接想办法求解,不需要分解了。)
(3)分解过程常用方法:hash(x)%m。其中x为字符串/url/ip,m为...
http://bigdatastudy.net/show.aspx?id=153&cid=14日期:2017-9-13 12:13:25
  • 1/1
  • 1