你好,游客 登录
背景:
阅读新闻

windows Spark 2.4 通过mvn源码编译

[日期:2018-11-09] 来源:CSDN   作者:lzzyok [字体: ]
网上很多Spark 源码编译是1.x的,现在主要版本已经是2.3了,在学习过程中想对Spark源码学习,所以就进行了2.4版本的源码编译。在这个过程中也遇到一些坑。随便记录一下

软件要求

1、jdk1.8

2、maven 3.3+

3、scala 2.11+

4、sbt 0.13.12

5、git

6、IntelliJ IDEA

对于1-5项配置环境变量 path。特别是对git的配置一定不要忘记。因为spark编译时需要用到bash环境


一、下载spark源码,可以直接去spark官网下,也可以用git去github直接下载,我是用github上下载master。

git clone https://github.com/apache/spark.git  这里需要一些时间,提示成功就可以了。


二、编译源码,spark编译支持mvn和sbt,这里只使用mvn就行

  1、cmd到spark源码目录 ,我的如下


 2、分配内存(不设置为有内存溢出问题)

[html] view plain copy

    <code class="language-html">set MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"  官网推荐,但是我的电脑是8G内存,用这个命令总是报错。所以我用了下面的命令</code>  

      set MAVEN_OPTS=-Xmx1g

3、执行mvn命令

mvn -DskipTests clean package

4、最终会看成成功的提示..............


补充:

指定yarn和hadoop版本构建(hadoop 2.7)

mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.3 -DskipTests clean package




---------------------
作者:lzzyok
来源:CSDN
原文:https://blog.csdn.net/lzzyok/article/details/79437087
版权声明:本文为博主原创文章,转载请附上博文链接!
收藏 推荐 打印 | 阅读:
相关新闻       spark2.4源码编译