你好,游客 登录
spark教程 的搜索结果
一、修改hosts文件
在主节点,就是第一台主机的命令行下;
vim /etc/hosts
我的是三台云主机:
在原文件的基础上加上;
ip1 master worker0 namenode ip2 worker1 datanode1 ip3 worker2 datanode2
其中的ipN代表一个可用的集群IP,ip1为master的主节点,ip2和iip3为从节点。 二、ssh互信(免密码登录)
注意我这里配置的是root用户...
http://bigdatastudy.net/show.aspx?id=599&cid=9日期:2018-9-29 22:57:40
本文翻译自:https://databricks.com/blog/2018/02/28/introducing-apache-spark-2-3.html
http://bigdatastudy.net/show.aspx?id=598&cid=9日期:2018-9-29 22:56:24
Scala的隐式转换可以说是Scala语言中很神奇的一个功能,我们先来看一个例子。
http://bigdatastudy.net/show.aspx?id=570&cid=10日期:2018-9-11 20:47:25
Spark Architecture: Shuffle 42 Replies
This is my second article about Apache Spark architecture and today I will be more specific and tell you about the shuffle, one of the most interesting topics in the overall Spark design. The previous part was mostly about general Spark architecture and its memory management. It can be accessed here. T...
http://bigdatastudy.net/show.aspx?id=546&cid=9日期:2018-9-4 12:12:45
最近在做一些性能优化工作,回想起工作这些年来,参与过的三次集中性能优化,每次都得折腾少则一个月,多则半年。这些内容既是不同视角、不同思路的比较,也是挺有趣的工作经历。
http://bigdatastudy.net/show.aspx?id=545&cid=9日期:2018-9-4 12:10:46
Spark 的性���分析和调优很有意思,今天再写一篇。主要话题是 shuffle,当然也牵涉一些其他代码上的小把戏。
http://bigdatastudy.net/show.aspx?id=544&cid=9日期:2018-9-4 11:08:04
版权声明:本文为博主原创文章,欢迎大家转载!
转载请标明出处: http://blog.csdn.net/guiying712/article/details/68947747 ,本文出自:【张华洋的博客】 1为什么要学习Scala语言 2Scala简介 3Scala在Windows系统上的安装及环境配置 1安装Java 下载JDK 配置环境变量 测试Java环境 3安装Scala 下载Scala 配置环境变量 测试Scala环境 4使用Intellij IDEA...
http://bigdatastudy.net/show.aspx?id=543&cid=10日期:2018-9-3 21:03:41
http://bigdatastudy.net/show.aspx?id=441&cid=9日期:2017-12-1 11:20:24
  • 1/1
  • 1