你好,游客 登录
rss订阅 手机访问 
Spark
干货 | 如何成为大数据Spark高手
Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台,它立足于内存计算,性能超过Hadoop百倍,从多迭代批量处理出发,兼收并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题,具有完善的生态系统,这直接奠定了其一统云计算大数据领域的霸...
日期:01月06日 作者:Spark高级玩法 点击:506
使用Flume+Kafka+SparkStreaming进行实时日志分析
每个公司想要进行数据分析或数据挖掘,收集日志、ETL都是第一步的,今天就讲一下如何实时地(准实时,每分钟分析一次)收集日志,处理日志,把处理后的记录存入Hive中,并附上完整实战代码 1. 整体架构
日期:01月02日 作者:Trigl的博客 点击:566
Spark:Yarn-cluster和Yarn-client区别与联系
我们都知道Spark支持在yarn上运行,但是Spark on yarn有分为两种模式yarn-cluster和yarn-client,它们究竟有什么区别与联系?阅读完本文,你将了解。
日期:01月02日 作者:过往记忆 点击:211
Spark Standalone与Spark on YARN的几种提交方式
Spark:Yarn-cluster和Yarn-client区别与联系
Spark Standalone的几种提交方式
别忘了先启动spark集群!!!
spark-shell用于调试,spark-submit用于生产。
1.spark-shell client [plain] view plain copy guo@drguo1:/opt/spark-1.6.1-bin-hadoop2.6$ bin/spark-shell --master spark://drguo1:7077 --deploy-mode client --total-executor-cores 4 ...
日期:01月02日 作者:光于前裕于后 点击:235
学习大数据的第一步-搭建Scala开发环境,以及使用Intellij IDEA开发Scala程序
版权声明:本文为博主原创文章,欢迎大家转载!
转载请标明出处: http://blog.csdn.net/guiying712/article/details/68947747 ,本文出自:【张华洋的博客】 1为什么要学习Scala语言 2Scala简介 3Scala在Windows系统上的安装及环境配置 1安装Java 下载JDK 配置环境变量 测试Java环境 3安装Scala 下载Scala 配置环境变量 测试Scala环境 4使用Intellij IDEA...
日期:01月02日 作者:张华洋 点击:651
『 Spark 』14. 一次 Spark SQL 性能提升10倍的经历
写在前面
本系列是综合了自己在学习spark过程中的理解记录 + 对参考文章中的一些理解 + 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录,所以一切以能够理解为主,没有必要的细节就不会记录了,而且文中有时候会出现英文原版文档,只要不影响理解,都不翻译了。若想深入了解,最好阅读参考文章和官方文档。
其次,本...
日期:12/01/2017 11:31:30 作者: 点击:1119
『 Spark 』13. Spark 2.0 Release Notes 中文版
写在前面
本系列是综合了自己在学习spark过程中的理解记录 + 对参考文章中的一些理解 + 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录,所以一切以能够理解为主,没有必要的细节就不会记录了,而且文中有时候会出现英文原版文档,只要不影响理解,都不翻译了。若想深入了解,最好阅读参考文章和官方文档。
其次,本...
日期:12/01/2017 11:30:33 作者: 点击:718
『 Spark 』12. Spark 2.0 | 10 个特性介绍
写在前面
本系列是综合了自己在学习spark过程中的理解记录 + 对参考文章中的一些理解 + 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录,所以一切以能够理解为主,没有必要的细节就不会记录了,而且文中有时候会出现英文原版文档,只要不影响理解,都不翻译了。若想深入了解,最好阅读参考文章和官方文档。
其次,本...
日期:12/01/2017 11:29:27 作者: 点击:668
『 Spark 』11. spark 机器学习
写在前面
本系列是综合了自己在学习spark过程中的理解记录 + 对参考文章中的一些理解 + 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录,所以一切以能够理解为主,没有必要的细节就不会记录了,而且文中有时候会出现英文原版文档,只要不影响理解,都不翻译了。若想深入了解,最好阅读参考文章和官方文档。
其次,本...
日期:12/01/2017 11:28:21 作者: 点击:462
『 Spark 』10. spark 应用程序性能优化|12 个优化方法
写在前面
本系列是综合了自己在学习spark过程中的理解记录 + 对参考文章中的一些理解 + 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录,所以一切以能够理解为主,没有必要的细节就不会记录了,而且文中有时候会出现英文原版文档,只要不影响理解,都不翻译了。若想深入了解,最好阅读参考文章和官方文档。
其次,本...
日期:12/01/2017 11:27:00 作者: 点击:812
『 Spark 』9. 搭建 IPython + Notebook + Spark 开发环境
写在前面
本系列是综合了自己在学习spark过程中的理解记录 + 对参考文章中的一些理解 + 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录,所以一切以能够理解为主,没有必要的细节就不会记录了,而且文中有时候会出现英文原版文档,只要不影响理解,都不翻译了。若想深入了解,最好阅读参考文章和官方文档。
其次,本...
日期:12/01/2017 11:25:49 作者: 点击:727
『 Spark 』8. 实战案例 | Spark 在金融领域的应用 | 日内走势预测
写在前面
本系列是综合了自己在学习spark过程中的理解记录 + 对参考文章中的一些理解 + 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录,所以一切以能够理解为主,没有必要的细节就不会记录了,而且文中有时候会出现英文原版文档,只要不影响理解,都不翻译了。若想深入了解,最好阅读参考文章和官方文档。
其次,本...
日期:12/01/2017 11:24:35 作者: 点击:658
『 Spark 』7. 使用 Spark DataFrame 进行大数据分析
写在前面
本系列是综合了自己在学习spark过程中的理解记录 + 对参考文章中的一些理解 + 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录,所以一切以能够理解为主,没有必要的细节就不会记录了,而且文中有时候会出现英文原版文档,只要不影响理解,都不翻译了。若想深入了解,最好阅读参考文章和官方文档。
其次,本...
日期:12/01/2017 11:23:23 作者: 点击:919
『 Spark 』6. 深入研究 spark 运行原理之 job, stage, task
写在前面
本系列是综合了自己在学习spark过程中的理解记录 + 对参考文章中的一些理解 + 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录,所以一切以能够理解为主,没有必要的细节就不会记录了,而且文中有时候会出现英文原版文档,只要不影响理解,都不翻译了。若想深入了解,最好阅读参考文章和官方文档。
其次,本...
日期:12/01/2017 11:21:47 作者: 点击:594
『 Spark 』5. 这些年,你不能错过的 spark 学习资源
日期:12/01/2017 11:20:24 作者: 点击:850