首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
大数据一锅端
武子康
创建于2024-10-12
订阅专栏
详细记录大数据的踩坑,包括 Hadoop、Hive、Kafka、Flink、ClickHouse、Elasticsearch 等二十余项核心组件,覆盖离线+实时数仓全栈。让我们一起无限进步!
等 10 人订阅
共107篇文章
创建于2024-10-12
订阅专栏
默认顺序
默认顺序
最早发布
最新发布
大数据-48 Redis 深入理解Redis通信机制:从RESP协议到Reactor事件驱动模型
Redis采用单线程+多路复用架构,通过事件驱动实现高并发处理。通信基于RESP协议,定义了简单字符串、错误、整数、批量字符串和数组五种数据格式,具有可读性强、易解析、支持二进制等优点。
大数据-47 Redis 内存控制、Key 过期与数据淘汰策略详解
Redis在理想环境下具备极高读写性能,但在实际应用中受网络、数据结构复杂度等影响。内存使用是Redis运维的核心挑战,Key数量持续增长可能导致内存耗尽。Redis提供多种内存淘汰策略。
大数据-46 Redis RDB 持久化机制详解:原理、配置与优缺点解析
RDB(Redis Database)是 Redis 默认的持久化方式,通过定期生成内存快照将数据保存为二进制文件 dump.rdb。当持久化触发时,Redis 主进程会 fork 子进程。
大数据-45 Redis 从快照到日志:RDB 与 AOF 持久化机制
Redis 提供两种主要持久化机制:RDB 和 AOF。RDB 通过定时快照将内存数据写入磁盘,优点是恢复快、文件小,适合灾备和快速启动,但可能丢失最后一次快照后的数据。
大数据-44 Redis 慢查询日志详解与性能优化实战指南
Redis 提供了类似 MySQL 的慢查询日志机制,用于记录执行时间超过指定阈值的命令,帮助开发者分析性能瓶颈与系统异常。通过配置 slowlog-log-slower-than 和 slowlog
大数据-43 Redis Lua脚本实战全解析 eval redis.call redis.pcall
Lua 是一门轻量级、高性能、易嵌入的脚本语言,被广泛应用于游戏开发、嵌入式系统和数据处理领域。而在 Redis 中,Lua 脚本因其原子性与灵活性成为复杂操作和事务逻辑的首选工具。
大数据-42 Redis 发布/订阅详解:机制、弱事务性与实际风险分析
Redis 发布/订阅(Pub/Sub)是一种轻量级消息通信机制,支持客户端订阅频道,并由发布端向频道推送消息,订阅端实时接收。它适合实时通知、日志分发等场景,但存在“弱事务性”:不持久、不确认。
大数据-41 Redis 类型集合(2) bitmap geohash Z阶曲线 Base32
Redis的Bitmap、Geo和Stream类型是处理高效数据存储与分析的重要利器。**Bitmap适用于用户签到、活跃状态等布尔集合问题,凭借位级操作大幅节省存储空间;Geo类型通过Z阶曲线等
大数据-40 Redis 类型集合 string list set zsorted hash 详解
Redis 常用命令及其典型应用场景。首先介绍了通用键空间命令如 EXISTS、DEL、EXPIRE、SCAN 等,强调了性能与使用场合的取舍。随后详细解析了五种核心数据类型。
大数据-39 Redis 源码编译安装 启动 redis-server redis-cli
Redis 是高性能开源键值数据库,内存读写快,支持RDB/AOF持久化、主从、哨兵、事务,常用于缓存与队列。源码自编译可率先修补漏洞,并按需启用TLS、JSON模块或systemd。
大数据-38 Redis 分布式缓存 详细介绍 缓存、读写、旁路、穿透模式
Redis 是一个开源的高性能键值对存储系统,广泛用于缓存、数据库和消息中间件等场景。它基于内存存储,支持多种数据结构(如字符串、哈希、列表、集合、有序集合等),并具备高吞吐、低延迟的特性。
大数据-37 HBase Java API POM 增删改查 详细代码
HBase Java API 从创建 Maven 工程到操作 HBase 表的完整流程。首先,通过添加 hbase-client 依赖配置 POM 文件,然后连接 ZooKeeper 并创建
大数据-36 HBase 增删改查 列族详解 实测
在 HBase 中,列由“列族:列限定符”组成,列族是最小的物理存储单位,直接决定数据的压缩、缓存和生命周期策略。合理划分列族至关重要,建议列族数量越少越好,以避免频繁的内存刷新
大数据-35 HBase 集群模式 配置和启动3节点集群
本节内容介绍了如何将 HBase 从单节点扩展为三节点集群运行。在前一节完成 h121 上的单节点配置后,接下来需将相同的环境同步至 h122 和 h123 节点
大数据-34 HBase 单节点配置 hbase-env hbase-site xml
首先通过官网下载或使用 wget 命令获取压缩包,并解压至指定目录。随后,为保证 HBase 能正常与 Hadoop 集成运行,需将 Hadoop 的核心配置文件 core-site.xml
大数据-33 HBase 整体架构 HMaster HRegion
HBase 是基于 Google BigTable 设计的分布式列式数据库,擅长处理 PB 级别的海量数据,支持高并发、低延迟的随机读写。与传统关系型数据库相比,HBase 采用列族存储。
大数据-32 ZooKeeper 分布式锁 Java 附带案例 代码
ZooKeeper 是一个高性能的分布式协调服务,主要用于解决分布式系统中的数据一致性与协调问题。其核心特性包括:提供顺序一致性、原子性、单一系统镜像、可靠性与及时性保障;数据模型采用类似 Unix
大数据-31 ZooKeeper 内部原理 Leader选举 ZAB协议
ZooKeeper 采用 ZAB 协议实现强一致性的分布式协调服务,其中 Leader 选举是保障系统稳定的关键机制。初次启动时,各节点根据自身 ID 和事务历史进行投票,须获得半数以上节点支持才能成
大数据-30 ZooKeeper Java-API 监听节点 创建、删除节点
核心特性包括分布式一致性保障(如顺序性、原子性、单一视图等)、类Unix结构的数据模型(ZNode Tree)、以及事件驱动的一次性监听机制(Watcher)。典型应用如 Dubbo 的服务注册。
大数据-29 ZooKeeper 节点 Watcher原理 实践指南
ZooKeeper 的 Watcher 机制是一种轻量级、事件驱动的分布式监听机制,支持客户端对节点(znode)变化进行一次性监听。
下一页