Spark环境配置

此文章起到一个备注的作用；

运行环境：ubuntu

1、安装java8

sudo add-apt-repository ppa:webupd8team/java
sudo apt-get update

sudo apt-get install oracle-java8-installer

sudo apt install oracle-java8-set-default

//验证java安装情况

java -version

2、安装spark

http://spark.apache.org/downloads.html 下载安装包并解压

3、运行spark程序

这里需要先启动集群：
启动master:  ./sbin/start-master.sh
启动worker:  ./bin/spark-class org.apache.spark.deploy.worker.Worker spark://localhost:7077  
                         这里的地址为：启动master后,在浏览器输入localhost:8080,查看到的master地址
启动成功后，jps查看进程：

jps

接下来执行提交命令，将打好的jar包上传到linux目录，jar包在项目目录下的out\artifacts下。
提交作业： ./bin/spark-submit --master spark://localhost:7077 --class WordCount /home/lucy/learnspark.jar
可以在4040端口查看job进度：