使用Intellij Idea搭建Spark开发环境

Intellij Idea下载地址： 

本文选择右下角的Community Ultimate版本进行下载安装 

本文使用的是MacOS

环境为：

JDK1.8.0_144

Scala2.10.4

在网上下载jdk和scala的安装包双击运行安装即可

注意：如果之后要将Scala文件打包成jar包并在Spark集群上运行的话，请确保Spark集群和打包操作所在机器 环境保持一致！不然运行jar包会出现很多异常

要使用idea开发Spark程序首先要安装Scala插件 
进入idea主界面

在线安装： 

选择Plugins 

现在可以用idea来新建一个scala项目 

New Project->Scala

由于项目已存在，所以不做操作，我的项目结构为：

演示本人其中一个Spark Example，RDDExample.scala

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
1package com.jinfeng.spark.examples

2

3import org.apache.spark.{SparkConf, SparkContext}

4/**

5* Created by WangJinfeng on 2017/6/9.

6*/

7object RDDExample {

8def main(args: Array[String]): Unit = {

9val conf = new SparkConf().setAppName("RDD Example").setMaster("local")

10val sc = new SparkContext(conf)

11val rdd1 = sc.parallelize(1 to 9, 3)

12val rdd2 = rdd1.map(x => x * 2)

13rdd2.collect().foreach(println)

14}

15}

16

右键点击RUN/DUBUG

执行结果如下图所示：

遇到问题及解决方案：

问题：

解决方案：

选择Preferences，找到Java Compiler，将Target bytecode version 改为上述问题所需要的1.8即可。