hadoop
5篇文章 · 0订阅
  • spark-submit 参数详解
    cluster：Driver端在Yarn分配的ApplicationMaster上启动一个Driver。与其他Excute交互 JARS：你程序依赖的jar包。如果有多个用,分隔 个别作业需要单独设置spark-conf参数，就在这里加。有10个就--conf十次 程序所依赖的…
    Spark
  • Hadoop 系列（七）—— HDFS Java API
    想要使用 HDFS API，需要导入依赖 hadoop-client。如果是 CDH 版本的 Hadoop，还需要额外指明其仓库地址： FileSystem 是所有 HDFS 操作的主入口。由于之后的每个单元测试都需要用到它，这里使用 @Before 注解进行标注。 FsPer…
    Hadoop
  • Hive 系列（三）—— Hive CLI 和 Beeline 命令行的基本使用
    直接使用 Hive 命令，不加任何参数，即可进入交互式命令行。 在不进入交互式命令行的情况下，可以使用 hive -e 执行 SQL 命令。 用于执行的 sql 脚本可以在本地文件系统，也可以在 HDFS 上。 可以使用 --hiveconf 设置 Hive 运行时的变量。 使…
    Apache Hive
  • Hadoop 实验 - 熟悉常用的 HDFS 操作
    理解 HDFS 在 Hadoop 体系结构中的角色。 熟练使用 HDFS 操作常用的 Shell 命令。 熟悉 HDFS 操作常用的 Java API。
    后端 Hadoop
    Hadoop 实验 - 熟悉常用的 HDFS 操作
  • Hadoop YARN 介绍
    YARN 是 Hadoop 集群的资源管理系统。Hadoop2.0 对 MapReduce 框架做了彻底的设计重构。YARN 的基本设计思想是将 MRv1 中的 JobTracker 拆分成了两个独立的服务：一个全局的资源管理器 ResourceManager 和每个应用程序特有的 ApplicationMaster。其中 ResourceManager 负责整个系统的资源管理和分配，而 ApplicationMaster 负责单个应用程序的管理。
    Yarn
    Hadoop YARN 介绍