你好,游客 登录
背景:
阅读新闻

windows10环境下搭建spark2.4.0源码阅读环境

[日期:2018-11-09] 来源:https  作者:u011055139 [字体: ]
准备工作(默认你已经安装好jdk,scala,maven,IDEA工具)

1.下载winutils.exe 文件

winutils.exe是在Windows系统上需要的hadoop调试环境工具,里面包含一些在Windows系统下调试hadoop、spark所需
要的基本的工具类,另外在使用eclipse调试hadoop程序是,也需要winutils.exe 。
下载地址:https://github.com/steveloughran/winutils
下载后的winutils.exe放到HADOOP_HOME/bin目录下。

2.增加HADOOP_HOME环境变量

在系统变量path里增加%HADOOP_HOME%\bin

3.下载spark源码

git clone https://github.com/apache/spark.git -b master
进入spark源码根目录,指定Hadoop和yarn的版本,编译:
mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.7 -DskipTests clean package

4.将编译后的spark导入IDEA

用git bash以管理员身份运行build/spark-build-info 用以生成spark-version-info.properties文件
build/spark-build-info D:\bigdata\opensource\spark\core\target\extra-resources\ 2.4.0
将生成的spark-version-info.properties文件复制到spark-core_2.11-2.4.0-SNAPSHOT.jar的根目录下。(复制之前先检查根
目录下是否存在spark-version-info.properties,不存在再复制)
在conf目录下复制log4j.properties.template,重命名为log4j.properties
将spark\assembly\target\scala-2.11\jars目录下的所有jar包添加到classpath中。
运行JavaLogQuery示例代码:

之后就可以愉快的设置断点debug啦。
---------------------
作者:u011055139
来源:CSDN
原文:https://blog.csdn.net/u011055139/article/details/81611814
版权声明:本文为博主原创文章,转载请附上博文链接!
收藏 推荐 打印 | 阅读:
相关新闻       windows10 spark源码