庄小焱

Hive是一个构建在Hadoop之上的数据仓库工具，本质上是SQL到MapReduce的转换器，适合海量数据的批处理查询。与传统数据库相比，它存储在HDFS上，计算执行依赖...

本文介绍了 HBase 数据库，包括其特点、组件、数据模型、数据写入与读取流程等基础知识，并分享了 HBase 实战经验总结，如性能指标、使用场景、与 HDFS 的关系、W...

本文介绍了HDFS存储系统，包括其组件、工作机制、实战经验总结、使用场景以及与SpringBoot的实战示例和优化设计。HDFS由Client、NameNode、Secon...

Kafka 的实战经验，重点探讨了 Kafka 的分区副本机制、ISR 与非 ISR 节点的概念及作用、Leader 选举流程以及与 ZooKeeper 的关系等内容，旨在...

美团App每天都面临着各类的欺诈、盗号、作弊、套现以及营销活动被恶意刷单、恶意抢占资源等风险。而业务安全团队采用的主要措施和手段就是在业务请求中识别出谁、在什么时间、通过什...

摘要 本文主要介绍了信贷模型域中的申请评分卡模型。首先阐述了信用违约风险的概念、典型场景、分类以及衡量与管理方法。接着详细介绍了申请评分卡的重要性、定义、特征、现实应用场景...

摘要 本文深入解析了XXL-Job的原理解析，包括其应用场景、与其他定时任务处理器的对比、架构设计思考以及核心原理问题。XXL-Job适用于秒级、分钟级、小时级的分布式、大...

文章主要介绍了ElasticJob的原理和源码解析。ElasticJob是一个分布式任务调度框架，使用Zookeeper作为协调器，支持任务分片和分布式锁机制。文章还探讨了...

本文主要探讨了Spring框架中懒加载机制的设计使用场景。首先解释了懒加载的定义，然后对比了懒加载和初始化加载的区别，包括初始化时机、启动速度、运行性能、资源占用、典型应用...

本文主要介绍了DDD（领域驱动设计）在系统设计中的实践应用，包括其在编码规范、分层架构设计等方面的具体要求和建议。重点强调了应用层的命名规范，如避免使用模糊的Handler...

本文主要围绕离线数仓项目中的任务调度与数据可视化实战展开，介绍了业务流程虚拟节点、离线数仓任务调度、数据可视化等方面的内容，涉及DataWorks和QuickBI等工具的使...

本文主要介绍了电商域离线数仓项目中ADS层的开发实战。首先阐述了ADS层的定义、作用、设计特征及示例，接着详细介绍了ADS层的设计规范，包括命名、表结构、分区与性能、数据一...

本文主要介绍了电商域离线数仓项目中DWS层的开发实战。DWS层是数据仓库中承接DWD明细层之上的汇总/主题/服务层，通过对明细数据的聚合、归类、计算和整合，形成面向分析和服...

本文主要介绍了离线数仓项目中电商域DWD层的开发实战。DWD层是数据仓库架构中的明细数据层，对ODS层的原始数据进行清洗、规范、整合与业务建模。它具有数据清洗、标准化、业务...

本文主要介绍了电商域离线数仓项目中DIM层的开发实战。首先阐述了DIM层的简介、作用、设计特征、典型维度分类以及交易支付场景下的表示例和客户维度表设计。接着介绍了DIM层设...

本文主要介绍了数据仓库中ODS层的开发实战，包括ODS层的定义、作用、设计特征、采集策略、开发实战、调度示例以及数据存储思考。ODS层作为数据仓库的底层，用于存储从各业务系...

本文主要介绍了数据同步策略的实战应用，包括全量同步、增量同步、CDC、批处理和流式同步等多种方案，并总结了它们的适用场景和优缺点。同时，详细探讨了数据同步过程中可能出现的异...

本文主要介绍了电商业务背景下的离线数据仓库项目，包括业务域划分、核心业务域、业务核心流程以及电商业务数据模型。详细阐述了如何基于业务职能和数据主体进行业务域划分，如用户域、...

本文详细介绍了离线数仓项目中的数据建模与数仓设计。数据建模面向主题域组织数据，构建多维数据结构，统一业务口径，实现数据的可理解、可追溯、可复用和可扩展。介绍了数仓常见建模方...