首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
Hive + Spark综合案例
分水岭
创建于2024-08-23
订阅专栏
Hive + Spark综合案例
暂无订阅
共5篇文章
创建于2024-08-23
订阅专栏
默认顺序
默认顺序
最早发布
最新发布
一、项目介绍及环境构建
项目介绍及环境构建: 项目需求、技术选型、Docker使用、环境配置、hadoop、hive、spark、mysql、oracle、sqoop的环境测试
二、数仓设计、Sqoop数据采集
从上到下的数仓设计。 Sqoop数据采集遇到HDFS数据与Oracle数据量不符的问题,解决办法:使用特殊文件格式:AVRO格式。使用Schema对采集数据进行备份
三、ODS层、DWD层的构建
自动化的ODS层与DWD层构建。 Hive、Avro建表语法。 实现Oracle、Hive连接。 ODS层建库、建表、申明分区。 DWD层建库、建表、加载数据。
四、DWS层构建 制造业务维度设计
制造业务维度设计。 维度设计、维度模型的介绍。 行政地区、服务网点、油站、组织机构等维度设计的实现。
五、DWB层构建 事实主题指标设计
DWB层构建(轻度汇总层)。 呼叫中心事实指标、油站事实指标(待完成)、工单事实指标、客户回访事实指标、费用事实指标的构建。 补充知识:日期函数、CASE...