首页
沸点
课程
数据标注
HOT
AI Coding
更多
直播
活动
APP
插件
直播
活动
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
登录
注册
武子康
掘友等级
后端工程师
永远好奇 无限进步
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
361
文章 251
沸点 110
赞
361
返回
|
搜索文章
最新
热门
大数据-252 离线数仓 - Airflow + Crontab 入门实战:定时调度、DAG 编排与常见报错排查
Linux Crontab 与 Apache Airflow 的基础用法、差异定位与工程实践。内容覆盖 Crontab 表达式格式、常见定时配置实例、Airflow DAG/Task/Operator
大数据-251 离线数仓 - Airflow 安装部署避坑指南:1.10.11 与 2.x 命令差异、MySQL 配置与错误排查
CentOS 7、MySQL 环境中搭建任务调度平台的读者。内容覆盖 Airflow 基本介绍、DAG 编排、常见使用场景、环境变量配置、初始化数据库、创建用户、启动 scheduler 与 webs
大数据-250 离线数仓 - 电商分析 Hive 数仓 ADS 层订单分析实战:全国/大区/城市分类汇总与 Airflow 调度
ADS 层订单分析表的设计与加载实现,覆盖全国、大区、城市,以及一级分类、二级分类的多维汇总统计。核心实现基于 dws.dws_trade_orders_w,通过 with mid_orders 先按
大数据-249 离线数仓 - 电商分析 Hive 数仓实战:订单拉链表到 DWS 宽表设计与加载脚本详解
电商订单场景,拆解从 ODS → DWD → DWS 的订单链路设计。核心内容包括:订单主表为什么适合做 拉链表、如何按订单创建日期进行 分区设计、订单商品表在 DWD 明细层 的处理方式,以及如何在
大数据-248 离线数仓 - 电商分析 Hive 离线数仓维表设计实战:快照表、拉链表与 DIM 增量加载全流程
系统说明了 DIM 层建模 中两类常见方案:每日快照表 与 拉链表(SCD)。内容覆盖商品分类维表、商家地域组织维表、商品信息维表三类典型场景,重点讲清了 反范式宽表设计、ODS 到 DIM 的分层处
大数据-247 离线数仓 - 电商分析 Hive 拉链表实战:订单历史状态增量刷新、闭链逻辑与错误排查
Hive 拉链表、离线数仓、订单历史状态保存、增量刷新、ODS 到 DWD 分层 展开,结合 2020 年订单状态变更案例,说明为什么在数仓建模中,拉链表适合处理“记录会变化、又需要保留历史”的业务对
大数据-246 离线数仓 - 电商分析 Hive 拉链表实战:初始化、每日增量更新、回滚脚本与错误排查
离线数仓建模方式,实战讲解 Hive 拉链表实现方案,覆盖初始化装载、每日增量更新、历史版本闭链、Shell 调度脚本以及回滚恢复逻辑。示例围绕 userinfo 分区表与 userhis 拉链表展开
大数据-245 离线数仓 - 电商分析 Hive 拉链表入门实战:缓慢变化维 SCD 类型、建表加载与常见错误速查
缓慢变化维(SCD,Slowly Changing Dimensions)展开,系统梳理 SCD Type 0、1、2、3、4、6 的核心差异,并结合 Hive 离线数仓场景说明快照表与拉链表的适用边
大数据-244 离线数仓 - Hive ODS 层建表与分区加载实战(DataX→HDFS→Hive)
通过 DataX 将 MySQL 数据同步到 HDFS 指定目录,再在 Hive 中创建 ODS 外部表(EXTERNAL TABLE),统一使用 dt 字符串分区,并以逗号作为字段分隔符。核心在于让
大数据-243 离线数仓 - 实战电商核心交易增量导入(DataX - HDFS - Hive 分区
使用 DataX(MySQLReader + HDFSWriter)从 MySQL 抽取订单表、订单明细表、产品信息表的日增量数据,落地到 HDFS,并以 dt=yyyy-MM-dd 目录实现分区化存
下一页
个人成就
优秀创作者
文章被点赞
333
文章被阅读
34,049
掘力值
6,604
关注了
2
关注者
97
收藏集
0
关注标签
10
加入于
2019-11-11