大数据相关

这是我参与2022首次更文挑战的第9天，活动详情查看：2022首次更文挑战」 单例对象 scala中没有静态方法或静态字段，不过可以使用 object 这个语法结构来达到同样的目的。对象定义了某个类的

这是我参与2022首次更文挑战的第8天，活动详情查看：2022首次更文挑战」 常用集合操作 Map map 对列表中的每个元素应用一个函数，返回应用后的元素所组成的列表。 foreach foreac

「这是我参与2022首次更文挑战的第6天，活动详情查看：2022首次更文挑战」 Java中的集合可分为: List,Set,Map (可变) List有序,可重复 列举：LinkedList,Arra

「这是我参与2022首次更文挑战的第4天，活动详情查看：2022首次更文挑战」 条件表达式 scala的 if/esle 语法结构与Java一样，但是在scala中 if/else 表达式有值，这个值

「这是我参与2022首次更文挑战的第3天，活动详情查看：2022首次更文挑战」 在Scala中，所有的值都有类型，包括数值和函数。下图阐述了类型层次结构的一个子集。 Any Any是所有类型的超类型，

「这是我参与2022首次更文挑战的第2天，活动详情查看：2022首次更文挑战」 什么是scala，Scala是什么 Scala 是一门现代的多范式语言，志在以简洁、优雅及类型安全的方式来表达常用的编程

这是我参与11月更文挑战的第29天，活动详情查看：2021最后一次更文挑战」 视图操作 Hive 中的视图和RDBMS中视图的概念一致，都是一组数据的逻辑表示，本质上就是一条SELECT语句的结果集。

这是我参与11月更文挑战的第27天，活动详情查看：2021最后一次更文挑战」 分区表 hive默认将表的数据保存在某一个hdfs的存储目录下，当需要检索符合条件的某一部分数据的时候，需要全量遍历数据，

这是我参与11月更文挑战的第26天，活动详情查看：2021最后一次更文挑战」 内部表和外部表的区别及其应用场景 加载数据的区别 内部表：加载数据到hive所在的hdfs目录，删除时，元数据和数据文件都

这是我参与11月更文挑战的第25天，活动详情查看：2021最后一次更文挑战」 数据库级别语句 展示数据库 语法： 案例： 创建数据库 语法： 案例： 选择数据库 语法： 案例： 删除数据库 语法： 案

这是我参与11月更文挑战的第23天，活动详情查看：2021最后一次更文挑战」 环境搭建前的预准备 下载HIVE:点击下载 在$HIVE_HOME/conf中有一份hive-default.xml.te

在 Hive 中，表名、表结构、字段名、字段类型、表的分隔符等统一被称为**元数据**。所有的元数据默认存储在 Hive 内置的 derby 数据库中，但由于 derby 只能有一个实例，也就是说不能

这是我参与11月更文挑战的第17天，活动详情查看：2021最后一次更文挑战」 产生Hive的原因 a) 方便对文件及数据的元数据进行管理，提供统一的元数据管理方式 b) 提供更加简单的方式来访问大规模

这是我参与11月更文挑战的第16天，活动详情查看：2021最后一次更文挑战」 实例中使用的数据文件: 点击下载 Mapper Reduce Model MapReduceOrderApplicatio

这是我参与11月更文挑战的第15天，活动详情查看：2021最后一次更文挑战」 Writable接口与序列化机制 一、序列化概念 序列化（Serialization）是指把结构化对象转化为字节流。 反序

这是我参与11月更文挑战的第14天，活动详情查看：2021最后一次更文挑战」 配置 简单化的配置方式就是把hadoop中的配置文件添加到工程的resouces目录下 大数据中的HelloWord →

这是我参与11月更文挑战的第13天，活动详情查看：2021最后一次更文挑战」 $MapReduce 编程模型中 splitting 和 shuffing 操作都是由框架实现的，需要我们自己编程实现的只

这是我参与11月更文挑战的第12天，活动详情查看：2021最后一次更文挑战」 介绍 概述 Hadoop MapReduce 是一个分布式计算框架，用于编写批处理应用程序。编写好的程序可以提交到 Had

这是我参与11月更文挑战的第11天，活动详情查看：2021最后一次更文挑战」 Apache YARN (Yet Another Resource Negotiator) 是 hadoop 2.0 引入

这是我参与11月更文挑战的第10天，活动详情查看：2021最后一次更文挑战」 hadoop1.x的体现 根据每次需要计算的数据，咨询NN元数据，得到block信息，算出所需的split数，得到一个sp