你好,游客 登录
背景:
阅读新闻

Intellij IDE+ Spark 2.4 例子运行(源码断点跟踪)

[日期:2018-11-09] 来源:CSDN   作者:lzzyok [字体: ]
上一篇文章写了如何通过Maven编译源码,该篇说明如何在IDE中引入项目,并运行其中一个例子。

  要求:IDE中安装了Scala插件

    1

一、打开IDE,并加入项目,按如下操作

Menu -> File -> Open -> {spark dir}/pom.xml -> Open as Project

    1

这里写图片描述

二、导入spark工程后,实例代码在:在{spark dir}/examples/目录下 。双击“Shift”键,输入 LogQuery打开实例文件(可见上图)

三、配置运行相关参数,主要配置项为 VM options: -Dspark.master=local (代表使用本地模式运行spark代码),如下图
这里写图片描述

四、下就是解决问题了。
在实际使用环境中,我们写的Spark应用都是打好包后,一般再通过 spark-submit 命令执行,这样Spark所依赖的相关jar都是已经存在,但是现在在IDE中运行,那么就需要对依赖包进行处理。

1、按上面的方式运行 LogQuery文件,会提示以下异常(实际项目编译是成功的)。

这里写图片描述

解决方法:
1) File -> Project Structure,打开如下图所示
这里写图片描述

2)执行jar文件所在目录 :{spark dir}/spark/assembly/target/scala-2.11/jars/ 说明:这个目录是我们在上一篇文章maven编译完spark源码后会生成的。

    **注意:如果修改了Spark源代码,需要重新编译的:mvn -T 4 -DskipTests clean package  
                  -T 是代表线程数**

    1
    2

再次运行,可以看到运行成功了

这里写图片描述
---------------------
作者:lzzyok
来源:CSDN
原文:https://blog.csdn.net/lzzyok/article/details/79450476
版权声明:本文为博主原创文章,转载请附上博文链接!
收藏 推荐 打印 | 阅读:
相关新闻       spark 2.4