spark
2篇文章 · 0订阅
  • spark conf 配置优化
    一、背景 spark版本：2.3.1 scala版本：2.11.8 二、conf配置说明 选项 值 说明 组合 spark.sql.crossJoin.enabled true 值为true时，sql
    Spark
  • spark-submit 参数详解
    cluster：Driver端在Yarn分配的ApplicationMaster上启动一个Driver。与其他Excute交互 JARS：你程序依赖的jar包。如果有多个用,分隔 个别作业需要单独设置spark-conf参数，就在这里加。有10个就--conf十次 程序所依赖的…
    Spark