Spark

之前Hadoop有架設過Spark，但那是使用Spark的Cluster架構，而在SMACK的架構理，Spark分工是架在Mesos上，部屬方式有差異。

Hadoop Server 分工內容

• hadoop1 Master

安裝Scala

先進入hadoop user

$ su hadoop

下載Scala到hadoop User家目錄

$ wget https://downloads.lightbend.com/scala/2.12.6/scala-2.12.6.tgz
$ tar -zxvf scala-2.12.6.tgz
$ mv scala-2.12.6 scala

設定必要環境變數

請在.bashrc新增以下環境變數內容

vi ~/.bashrc 

變數內容

export SCALA_HOME=/home/hadoop/scala
export PATH=$SCALA_HOME/bin:$PATH

使環境變數生效

$ source ~/.bashrc

檢查Scala版本號

$ scala -version
Scala code runner version 2.12.6 -- Copyright 2002-2018, LAMP/EPFL and Lightbend, Inc.

安裝Spark

下載Spark 2.3.1到hadoop5 Server的hadoop User家目錄

要下載Source Code版本，原因是要打包沒有Hive版本的Spark

$ cp /spark/conf/spark-env.sh.template /spark/conf/spark-env.sh

設定必要環境變數

請在.bashrc新增以下環境變數內容

vi ~/.bashrc 

變數內容

export SPARK_HOME=/home/hadoop/spark
export PATH=$SPARK_HOME/bin:$PATH

使環境變數生效

$ source ~/.bashrc

配置spark-env.sh

$ vi /spark/conf/spark-env.sh

配置內容

export SCALA_HOME=/home/hadoop/scala
export JAVA_HOME=/usr
export SPARK_EXECUTOR_URI=/home/hadoop/spark.tgz
export MESOS_NATIVE_JAVA_LIBRARY=/usr/lib/libmesos.so
export MASTER=mesos://zk://hadoop5:2181,hadoop6:2181,hadoop7:2181/mesos
export SPARK_EXECUTOR_MEMORY=512M

壓縮Spark到hadoop6 - 7

tar -czvf spark.tgz spark/
scp spark.tgz hadoop@hadoop6:~
scp spark.tgz hadoop@hadoop7:~

測試

spark-submit --class org.apache.spark.examples.SparkPi  ~/spark/examples/jars/spark-examples*.jar 1000 

測試成功後可去mesos看每個Task的測試狀態