点一下关注吧!!!非常感谢!!持续更新!!!
🚀 AI篇持续更新中!(长期更新)
AI炼丹日志-29 - 字节跳动 DeerFlow 深度研究框斜体样式架 私有部署 测试上手 架构研究,持续打造实用AI工具指南!📐🤖
💻 Java篇正式开启!(300篇)
目前2025年07月10日更新到: Java-68 深入浅出 分布式服务 Netty实现自定义RPC 附详细代码 MyBatis 已完结,Spring 已完结,Nginx已完结,Tomcat已完结,分布式服务正在更新!深入浅出助你打牢基础!
📊 大数据板块已完成多项干货更新(300篇):
包括 Hadoop、Hive、Kafka、Flink、ClickHouse、Elasticsearch 等二十余项核心组件,覆盖离线+实时数仓全栈! 大数据-278 Spark MLib - 基础介绍 机器学习算法 梯度提升树 GBDT案例 详解
章节内容
上一节我们完成了:
- HBase Shell 的使用
- HBase 增、删、改、查等操作
- HBase列族相关的操作
背景介绍
这里是三台公网云服务器,每台 2C4G,搭建一个Hadoop的学习环境,供我学习。
- 2C4G 编号 h121
- 2C4G 编号 h122
- 2C2G 编号 h123
HBase 项目详细介绍
项目简介
HBase (Hadoop Database) 是一款基于 Google 的 BigTable 论文设计而来的开源分布式数据库系统。它属于列式存储的非关系型数据库(NoSQL),专门用于处理超大规模数据集的实时随机读写需求。
与传统的关系型数据库如 MySQL 相比,HBase 采用了完全不同的存储方式:
- 行式存储 vs 列式存储:MySQL 采用行式存储,即使某些字段为空也会占用存储空间;而 HBase 采用列式存储,空字段不会浪费空间
- 存储容量:MySQL 单表通常限制在百万到千万级数据,而 HBase 可以轻松存储 PB 级数据
- 扩展方式:MySQL 主要通过垂直扩展(升级硬件),HBase 则支持水平扩展(增加节点)
核心特性
海量数据存储能力
- 支持 PB 级别大数据存储,单集群可存储超过100TB至PB级数据
- 采用分布式存储架构,数据自动分片存储在多个数据节点
- 支持数据压缩存储,可节省50%以上的存储空间
- 典型应用场景:互联网用户行为日志、物联网传感器数据、金融交易记录等海量数据存储
高可用与横向扩展
- 采用主从架构,RegionServer作为数据节点可动态扩展
- 支持在线添加节点,扩容过程不影响业务运行
- 理论上可以实现存储容量和计算能力的线性增长
- 每个RegionServer管理多个Region(数据分区),自动负载均衡
- 典型配置:初始3节点,可扩展至上百节点处理PB级数据
列族存储
- 数据按列族(Column Family)物理存储,同列族数据集中存放
- 适合宽表场景,如用户画像表可能有上千个字段
- 单条记录只需存储实际有值的列,极大节省存储空间
- 列族可单独配置压缩算法、过期时间等属性
- 示例:用户表可设基础信息、行为数据、偏好设置等不同列族
强一致性
- 提供行级ACID事务保证
- 支持跨行事务,确保相关操作同时成功或失败
- 采用MVCC(多版本并发控制)实现读写不阻塞
- WAL(预写日志)确保数据持久性
- 典型应用:金融转账、库存管理等需要强一致性的场景
快速随机读写
- 多层存储结构:MemStore(内存)+HFile(磁盘)+BlockCache(缓存)
- 热数据优先缓存在内存,响应时间通常<10ms
- 支持批量写入和异步刷新机制
- BloomFilter加速查询,避免无效磁盘IO
- 典型性能:单节点每秒可处理数万次读写操作## 核心特性
海量数据存储能力
- 支持 PB 级别大数据存储,单集群可存储超过100TB至PB级数据
- 采用分布式存储架构,数据自动分片存储在多个数据节点
- 支持数据压缩存储,可节省50%以上的存储空间
- 典型应用场景:互联网用户行为日志、物联网传感器数据、金融交易记录等海量数据存储
高可用与横向扩展
- 采用主从架构,RegionServer作为数据节点可动态扩展
- 支持在线添加节点,扩容过程不影响业务运行
- 理论上可以实现存储容量和计算能力的线性增长
- 每个RegionServer管理多个Region(数据分区),自动负载均衡
- 典型配置:初始3节点,可扩展至上百节点处理PB级数据
列族存储
- 数据按列族(Column Family)物理存储,同列族数据集中存放
- 适合宽表场景,如用户画像表可能有上千个字段
- 单条记录只需存储实际有值的列,极大节省存储空间
- 列族可单独配置压缩算法、过期时间等属性
- 示例:用户表可设基础信息、行为数据、偏好设置等不同列族
强一致性
- 提供行级ACID事务保证
- 支持跨行事务,确保相关操作同时成功或失败
- 采用MVCC(多版本并发控制)实现读写不阻塞
- WAL(预写日志)确保数据持久性
- 典型应用:金融转账、库存管理等需要强一致性的场景
快速随机读写
- 多层存储结构:MemStore(内存)+HFile(磁盘)+BlockCache(缓存)
- 热数据优先缓存在内存,响应时间通常<10ms
- 支持批量写入和异步刷新机制
- BloomFilter加速查询,避免无效磁盘IO
- 典型性能:单节点每秒可处理数万次读写操作
新建工程
新建一个Maven工程,这里就跳过了,不重复描述了。
POM
更新我们的POM文档,加入如下的依赖:
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>1.3.1</version>
</dependency>
建立新表
public class Test01 {
public static void main(String[] args) throws IOException {
Configuration configuration = HBaseConfiguration.create();
configuration.set("hbase.zookeeper.quorum", "h121.wzk.icu,h122.wzk.icu");
configuration.set("hbase.zookeeper.property.clientPort", "2181");
Connection connection = ConnectionFactory.createConnection(configuration);
HBaseAdmin admin = (HBaseAdmin) connection.getAdmin();
// 创建表描述器
HTableDescriptor descriptor = new HTableDescriptor(TableName.valueOf("test01"));
// 设置列族描述器
descriptor.addFamily(new HColumnDescriptor("base_info"));
// 建立表
admin.createTable(descriptor);
System.out.println("test01 表建立完毕");
admin.close();
connection.close();
}
}
运行上面的代码,可以得到如下的结果:
插入数据
public class Test02 {
public static void main(String[] args) throws IOException {
Configuration configuration = HBaseConfiguration.create();
configuration.set("hbase.zookeeper.quorum", "h121.wzk.icu,h122.wzk.icu");
configuration.set("hbase.zookeeper.property.clientPort", "2181");
Connection connection = ConnectionFactory.createConnection(configuration);
HBaseAdmin admin = (HBaseAdmin) connection.getAdmin();
// 插入数据
Table table = connection.getTable(TableName.valueOf("test01"));
// 设定 row key
Put put = new Put(Bytes.toBytes("rk1"));
// 列族 列 值
put.addColumn(Bytes.toBytes("base_info"), Bytes.toBytes("name"), Bytes.toBytes("wuzikang"));
// 执行插入
table.put(put);
table.close();
System.out.println("rk1 base_info:name wuzikang 数据插入成功!");
admin.close();
connection.close();
}
}
运行可以获得如下的结果:
删除数据
public class Test03 {
public static void main(String[] args) throws IOException {
Configuration configuration = HBaseConfiguration.create();
configuration.set("hbase.zookeeper.quorum", "h121.wzk.icu,h122.wzk.icu");
configuration.set("hbase.zookeeper.property.clientPort", "2181");
Connection connection = ConnectionFactory.createConnection(configuration);
HBaseAdmin admin = (HBaseAdmin) connection.getAdmin();
// 删除数据
Table table02 = connection.getTable(TableName.valueOf("test01"));
Delete delete = new Delete(Bytes.toBytes("rk1"));
table02.delete(delete);
table02.close();
System.out.println("rk1 数据删除成功!");
admin.close();
connection.close();
}
}
运行可以获得如下的结果:
获取列族
public class Test04 {
public static void main(String[] args) throws IOException {
Configuration configuration = HBaseConfiguration.create();
configuration.set("hbase.zookeeper.quorum", "h121.wzk.icu,h122.wzk.icu");
configuration.set("hbase.zookeeper.property.clientPort", "2181");
Connection connection = ConnectionFactory.createConnection(configuration);
HBaseAdmin admin = (HBaseAdmin) connection.getAdmin();
// 获取某个列族信息
HTable table = (HTable) connection.getTable(TableName.valueOf("test01"));
Get get = new Get(Bytes.toBytes("rk1"));
get.addFamily(Bytes.toBytes("base_info"));
// 执行查询
Result result = table.get(get);
Cell[] cells = result.rawCells();
for (Cell cell : cells) {
String cf = Bytes.toString(CellUtil.cloneFamily(cell));
String column = Bytes.toString(CellUtil.cloneQualifier(cell));
String value = Bytes.toString(CellUtil.cloneValue(cell));
String rowKey = Bytes.toString(CellUtil.cloneRow(cell));
System.out.println("rowKey: " + rowKey + ", " + cf + ", " + column + ", " + value);
}
table.close();
admin.close();
connection.close();
}
}
运行可以获得如下的结果:
扫描全表
public class Test05 {
public static void main(String[] args) throws IOException {
Configuration configuration = HBaseConfiguration.create();
configuration.set("hbase.zookeeper.quorum", "h121.wzk.icu,h122.wzk.icu");
configuration.set("hbase.zookeeper.property.clientPort", "2181");
Connection connection = ConnectionFactory.createConnection(configuration);
HBaseAdmin admin = (HBaseAdmin) connection.getAdmin();
HTable table = (HTable) connection.getTable(TableName.valueOf("test01"));
Scan scan = new Scan();
ResultScanner scanner = table.getScanner(scan);
for (Result result : scanner) {
Cell[] cells = result.rawCells();
for (Cell cell : cells) {
String cf = Bytes.toString(CellUtil.cloneFamily(cell));
String column = Bytes.toString(CellUtil.cloneQualifier(cell));
String value = Bytes.toString(CellUtil.cloneValue(cell));
String rowkey = Bytes.toString(CellUtil.cloneRow(cell));
System.out.println("rowKey: " + rowkey + ", " + cf + ", " + column + ", " + value);
}
}
table.close();
admin.close();
connection.close();
}
}
运行可以获得如下结果:
Scan+Row
public class Test06 {
public static void main(String[] args) throws IOException {
Configuration configuration = HBaseConfiguration.create();
configuration.set("hbase.zookeeper.quorum", "h121.wzk.icu,h122.wzk.icu");
configuration.set("hbase.zookeeper.property.clientPort", "2181");
Connection connection = ConnectionFactory.createConnection(configuration);
HBaseAdmin admin = (HBaseAdmin) connection.getAdmin();
HTable table = (HTable) connection.getTable(TableName.valueOf("test01"));
Scan scan = new Scan();
scan.setStartRow("rk1".getBytes());
scan.setStopRow("rk2".getBytes());
ResultScanner scanner = table.getScanner(scan);
for (Result result : scanner) {
Cell[] cells = result.rawCells();
for (Cell cell : cells) {
String cf = Bytes.toString(CellUtil.cloneFamily(cell));
String column = Bytes.toString(CellUtil.cloneQualifier(cell));
String value = Bytes.toString(CellUtil.cloneValue(cell));
String rowkey = Bytes.toString(CellUtil.cloneRow(cell));
System.out.println("rowKey: " + rowkey + ", " + cf + ", " + column + ", " + value);
}
}
table.close();
admin.close();
connection.close();
}
}