落叶飞逝的恋

一、Region概念 Region可以翻译为区域，在HBase里面，一个表中的数据，会按照行被横向划分为多个Region。 每个Region，是按照存储的RowKey的最小...

一、HBase的增删改查操作 命令 解释 put 添加数据、修改数据 get 查看数据 count 查看表中数据总条数 scan 扫描表中的数据 delete/delete...

一、HBase介绍 HBase是一个开源的NoSQL数据库，参考的Google的Big Table建模，用Java语言实现的，运行于HDFS文件系统上，为Hadoop提供类...

hive没有专门的数据存储格式，默认keyi直接加载文本文件TextFile，还支持SequenceFile、RCFile等。https://cwiki.apache.or...

一、常见的数据压缩格式 前面的hive默认使用的TextFile格式的数据，这种格式的数据，在存储层面占用的空间比较大，影响存储能力，也影响计算效率，所以为了提高Hive中...

持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第7天，点击查看活动详情 一、Hive函数的基本操作 与MySQL一样，hive也是一个主要做统计的工...

持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第6天，点击查看活动详情 一、综合案例 1.1、需求描述 Flume按天把数据采集到HDFS中对应的目...

Hive中常见的数据库相关操作： 1、创建数据库 2、查看表信息 3、查看表结构 4、查看表的创建信息 5、修改表名 6、加载数据 7、查询加载的数据 8、表增加字段 9、...

一、Hive的使用方式 1.1、命令行方式hive方式 针对命令行这种方式，其实还有两种使用第一个是使用bin目录下的hive命令，这个是从hive一开始就支持的使用方式后...

一、什么是Hive Hive是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取、转化、加载，可以简称为ETL。 Hive 定义了简单的类S...

一、自定义组件 source、channel、sink以及Source Interceptors，Channel Selectors、Sink Processors针对这些...

一、Flume的高级组件 Source Interceptors：Source可以指定一个或者多个拦截器按先后顺序依次对采集到的数据进行处理 Channel Selecto...

一、什么是Flume Flume是一个高可用、高可靠，分布式的海量日志采集、聚合和传输的系统，能够有效的收集、聚合、移动大量的日志数据。通俗来讲：Flume是一个很靠谱、很...

一、Yarn信息 从Hadoop2开始，官方把资源管理单独剥离出来，主要是为了考虑后期作为一个公共的资源管理平台，任何满足规则的计算引擎都可以在它上面执行。所以Yarn可以...

一、小文件处理 Hadoop的HDFS和MapReduce都是针对大数据文件来设计的，在小文件的处理上不但效率低下，而且十分消耗内存资源。针对HDFS而言，每一个小文件在n...

我报名参加金石计划1期挑战——瓜分10万奖池，这是我的第n篇文章，点击查看活动详情 一、Shuffle过程详解 Shuffle是一个网络拷贝的过程，是指通过网络把数据从ma...

一、MapReduce任务日志查看 想要查看MapReduce程序执行过程中产生的日志信息怎么办？ 1.1、开启Yarn日志聚合功能 需要开启YARN的日志聚合功能，把散落...

一、MapReduce介绍 1.1、MapReduce计算思想 举个例子，要统计扑克牌的黑桃个数，最直接的办法是一张一张检查然后进行统计。利用MapReduce的计算方法，...

一、SecondaryNameNode SecondaryNameNode主要负责定期的把edits文件中的内容合并到fsimage中。这个合并操作称为checkpoint...

一、NameNode介绍 1.1、HDFS支持主从结构 主节点称为：NameNode，因为主节点上运行的有NameNode进程。NameNode支持多个，目前配置1个 从节...