Spark_提交模式

作业提交

• spark-submit

  Spark 所有模式均使用 spark-submit 命令提交作业，其格式如下：

./bin/spark-submit \
  --class  \        # 应用程序主入口类
  --master  \       # 集群的 Master Url
  --deploy-mode  \ # 部署模式
  --conf = \        # 可选配置       
  ... # other options    
   \           # Jar 包路径 
  [application-arguments]       #传递给主入口类的参数  

需要注意的是：在集群环境下，application-jar 必须能被集群中所有节点都能访问，可以是 HDFS 上的路径；也可以是本地文件系统路径，如果是本地文件系统路径，则要求集群中每一个机器节点上的相同路径都存在该 Jar 包。

作业提交方式

Local模式

# 本地模式提交应用
spark-submit \
--class org.apache.spark.examples.SparkPi \
--master local[2] \
/usr/app/spark-2.4.0-bin-hadoop2.6/examples/jars/spark-examples_2.11-2.4.0.jar \
100   # 传给 SparkPi 的参数