你好,游客 登录
rss订阅 手机访问 
Spark
spark-2.2.0安装和部署——Spark集群学习日记
前言
在安装后hadoop之后,接下来需要安装的就是Spark。 scala-2.11.7下载与安装
具体步骤参见上一篇博文 Spark下载
为了方便,我直接是进入到了/usr/local文件夹下面进行下载spark-2.2.0
wget https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7.tgz 1 Spark安装之前的准备
文件的解压与改名
tar -zxvf spark-2.2.0-bi...
日期:01/07/2018 21:19:50 作者:kwongtailau 点击:968
SparkSql的Catalyst之图解简易版
日期:01/06/2018 19:40:55 作者:浪尖 点击:814
SparkSql的优化器-Catalyst
日期:01/06/2018 19:39:54 作者:浪尖 点击:1206
SparkSql 中外连接查询中的谓词下推规则
SparkSql
SparkSql是架构在spark计算框架之上的分布式Sql引擎,使用DataFrame和DataSet承载结构化和半结构化数据来实现数据复杂查询处理,提供的DSL可以直接使用scala语言完成sql查询,同时也使用thrift server提供服务化的Sql查询功能。SparkSql提供了Data Source API,用户通过这套API可以自己开发一套Connector,直接查询各类数据源,包括NoSql、RDBMS、搜索引擎以...
日期:01/06/2018 19:38:55 作者:Spark高级玩法 点击:1136
干货 | 如何成为大数据Spark高手
Spark是发源于美国加州大学伯克利分校AMPLab的集群计算平台,它立足于内存计算,性能超过Hadoop百倍,从多迭代批量处理出发,兼收并蓄数据仓库、流处理和图计算等多种计算范式,是罕见的全能选手。Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题,具有完善的生态系统,这直接奠定了其一统云计算大数据领域的霸...
日期:01/06/2018 19:37:01 作者:Spark高级玩法 点击:815
使用Flume+Kafka+SparkStreaming进行实时日志分析
每个公司想要进行数据分析或数据挖掘,收集日志、ETL都是第一步的,今天就讲一下如何实时地(准实时,每分钟分析一次)收集日志,处理日志,把处理后的记录存入Hive中,并附上完整实战代码 1. 整体架构
日期:01/02/2018 21:00:38 作者:Trigl的博客 点击:870
Spark:Yarn-cluster和Yarn-client区别与联系
我们都知道Spark支持在yarn上运行,但是Spark on yarn有分为两种模式yarn-cluster和yarn-client,它们究竟有什么区别与联系?阅读完本文,你将了解。
日期:01/02/2018 20:59:25 作者:过往记忆 点击:367
Spark Standalone与Spark on YARN的几种提交方式
Spark:Yarn-cluster和Yarn-client区别与联系
Spark Standalone的几种提交方式
别忘了先启动spark集群!!!
spark-shell用于调试,spark-submit用于生产。
1.spark-shell client [plain] view plain copy guo@drguo1:/opt/spark-1.6.1-bin-hadoop2.6$ bin/spark-shell --master spark://drguo1:7077 --deploy-mode client --total-executor-cores 4 ...
日期:01/02/2018 20:57:16 作者:光于前裕于后 点击:400
学习大数据的第一步-搭建Scala开发环境,以及使用Intellij IDEA开发Scala程序
版权声明:本文为博主原创文章,欢迎大家转载!
转载请标明出处: http://blog.csdn.net/guiying712/article/details/68947747 ,本文出自:【张华洋的博客】 1为什么要学习Scala语言 2Scala简介 3Scala在Windows系统上的安装及环境配置 1安装Java 下载JDK 配置环境变量 测试Java环境 3安装Scala 下载Scala 配置环境变量 测试Scala环境 4使用Intellij IDEA...
日期:01/02/2018 20:55:54 作者:张华洋 点击:1079
『 Spark 』14. 一次 Spark SQL 性能提升10倍的经历
写在前面
本系列是综合了自己在学习spark过程中的理解记录 + 对参考文章中的一些理解 + 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录,所以一切以能够理解为主,没有必要的细节就不会记录了,而且文中有时候会出现英文原版文档,只要不影响理解,都不翻译了。若想深入了解,最好阅读参考文章和官方文档。
其次,本...
日期:12/01/2017 11:31:30 作者: 点击:1636
『 Spark 』13. Spark 2.0 Release Notes 中文版
写在前面
本系列是综合了自己在学习spark过程中的理解记录 + 对参考文章中的一些理解 + 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录,所以一切以能够理解为主,没有必要的细节就不会记录了,而且文中有时候会出现英文原版文档,只要不影响理解,都不翻译了。若想深入了解,最好阅读参考文章和官方文档。
其次,本...
日期:12/01/2017 11:30:33 作者: 点击:1059
『 Spark 』12. Spark 2.0 | 10 个特性介绍
写在前面
本系列是综合了自己在学习spark过程中的理解记录 + 对参考文章中的一些理解 + 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录,所以一切以能够理解为主,没有必要的细节就不会记录了,而且文中有时候会出现英文原版文档,只要不影响理解,都不翻译了。若想深入了解,最好阅读参考文章和官方文档。
其次,本...
日期:12/01/2017 11:29:27 作者: 点击:984
『 Spark 』11. spark 机器学习
写在前面
本系列是综合了自己在学习spark过程中的理解记录 + 对参考文章中的一些理解 + 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录,所以一切以能够理解为主,没有必要的细节就不会记录了,而且文中有时候会出现英文原版文档,只要不影响理解,都不翻译了。若想深入了解,最好阅读参考文章和官方文档。
其次,本...
日期:12/01/2017 11:28:21 作者: 点击:846
『 Spark 』10. spark 应用程序性能优化|12 个优化方法
写在前面
本系列是综合了自己在学习spark过程中的理解记录 + 对参考文章中的一些理解 + 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录,所以一切以能够理解为主,没有必要的细节就不会记录了,而且文中有时候会出现英文原版文档,只要不影响理解,都不翻译了。若想深入了解,最好阅读参考文章和官方文档。
其次,本...
日期:12/01/2017 11:27:00 作者: 点击:1312