你好,游客 登录
spark基础 的搜索结果
前言
在Spark的使用中,性能的调优配置过程中,查阅了很多资料,本文的思路是从spark最细节的本质,即核心的数据结构RDD出发,到整个Spark集群宏观的调度过程做一个整理归纳,从微观到宏观两方面总结,方便自己在调优过程中找寻问题,理清思路,也加深自己对于分布式程序开发的理解。(有任何问题和纰漏还请各位大牛指出啦,我会第一时间改正) RDD详谈
在Spark开...
http://bigdatastudy.net/show.aspx?id=619&cid=9日期:2018-10-25 19:41:32
我们做spark开发 会使用很多spark的高阶函数 所以 今天我就在linux服务上使用scala高阶函数
http://bigdatastudy.net/show.aspx?id=563&cid=10日期:2018-9-6 19:32:40
1.什么是spark
spark起源
Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架
spark特点
Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS
spark编程语言
Spark 是在 Scala 语言中实现的,它将 Scala 用作...
http://bigdatastudy.net/show.aspx?id=34&cid=9日期:2017-9-4 16:39:35
  • 1/1
  • 1