HBase笔记

本文从HBase「基础架构」出发，梳理各个组件、读写流程的参数调优，期望能满足「在线业务」的 高可用、低抖动 的需求。

Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs对HBase数据进行增删改查，构建二级索引。当然，开源产品嘛，自然需要注意“避坑”啦，阿丸会把使用方式和最佳实践都告诉你。 Phoenix完全使用Java编写，将SQL查询转换为一个或多个HBa…

HBase一个令人惋惜的地方，就是不支持二级索引。因此，社区有了很多补充方案来填补HBase的二级索引能力的缺陷。 今天，我们就来看看有哪些二级索引方案，通过对比各个方案的优缺点，并结合我们的具体场景做出二级索引方案选型。 HBase系统单纯从解决大数据实时读写问题角度出发，重…

在HBase1.1.0发布之前，HBase同一集群上的用户、表都是平等的，大家平等共用集群资源。容易碰到两个问题： 二是有些业务QPS常常很高，占用大量系统资源，导致其他业务无法正常运转。 这是典型的多租户问题。因此，我们需要通过资源隔离来解决多租户问题，同时，需要考虑计算型业…

在之前学习MySQL的时候，我们知道存储引擎常用的索引结构有B+树索引和哈希索引。 而对HBase的学习，也离不开索引结构的学习，它使用了一种LSM树（(Log-Structured Merge-Tree)）的索引结构。 下面，我们就结合HBase的实现，来深入了解HBase的…

下面我们来仔细分析一下。 1. 什么是分布式系统的CAP？ CAP是指一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance）。 一致性指更新操作成功并返回客户端完成后，分布式系统中所有节点在同一时间的数据完全一…

本文将介绍HBase的客户端连接实现，并说明如何正确管理HBase的连接。 最近在搭建一个HBase的可视化管理平台，搭建完成后发现不管什么查询都很慢，甚至于使用api去listTable都要好几秒。 经过一番排查发现，是每次请求的时候，都去临时创建了一个connection，…

前面，我们已经打下了很多关于HBase的理论基础，今天，我们主要聊聊在实际开发使用HBase中，需要关注的一些最佳实践经验。 6）如果一个表存在一个以上的列族，那么必须要注意，不同列族之间行数相差不要太大。 例如列族A有10万行，而列族B有1亿行，那么rowkey就有1亿行，而…

HBase拥有出色的扩展性，其中最依赖的就是region的自动split机制。 前面我们已经知道了，数据写入过程中，需要先写memstore，然后memstore满了以后，flush写入磁盘，形成新的HFile文件。 当HFile文件数量不断累积，Region server就会…

在上一篇 HBase读写 中我们提到了，HBase在读取过程中，会创建多个scanner去抓去数据。 其中，会创建多个storefilescanner去load HFile中的指定data block。所以，我们很容易就想到，如果说HFile太多的话，那么就会涉及到很多磁盘IO…

在了解HBase架构的基础上，我们需要进一步学习HBase的读写过程，一方面是了解各个组件在整个读写过程中充当的角色，另一方面只有了解HBase的真实请求过程，才能为后续的正确使用打下初步基础，毕竟，除了会使用api，你还得知道怎么能写得更快，怎么查得更快。 在上一篇 深入HB…

在网上看过很多HBaes架构相关的文章，内容深浅不一，直到发现了一篇MapR官网的文章https://mapr.com/blog/in-depth-look-hbase-architecture/#.VdMxvWSqqko，写得实在太sheng dong了。 因此，以这篇文章作…