光羽隼

欢迎访问网易云社区，了解更多网易技术产品运营经验。 Join操作是数据库和大数据计算中的高级特性，大多数场景都需要进行复杂的Join操作，本文从原理层面介绍了SparkSQ...

前言 说来惭愧，距离上一次更新博客已经超过半年了，这频率比去年还过分。这就不找理由了，今年的学习态度确实是懈怠了。 2022年总结 2022的学习情况 Flink源码 FL...

1、Spark有几种部署模式，分别简要论述 2、Spark用什么提交 shell 脚本 3、Spark 提交作业的参数 4、简述Spark架构，以及作业提交的流程 5、如何...

1、Hive的结构 2、Hive和数据哭的比较 3、内部表和外部表 4、四个By 5、窗口函数 窗口函数指定范围的用法 6、Hive优化...

数据存储格式有textFile，sequenceFile，ORC，Parquet等 ods层使用textFile存储格式，使用Gzip压缩格式。因为ods层数据量大，访问频...

通过三步调研（业务调研、需求调研、数据调研），划分主题域 业务调研初步确定dw层主题域， 需求调研初步确定应用层主题域， 数据调研，整理现有数据源、数据字典，形成数据调研表...

UDF 继承GenericUDF类，重写initialize，evaluate方法，init方法是对输入参数进行合法化验证，并对输出数据的类型进行定义，evaluate函数...

什么是数仓分层 将源数据根据规则进行处理，并落到hive表中。 为什么要数仓分层 为了让数据链路更清晰，数据使用起来更方便，建立分层数仓，也可以避免重复计算的问题。 怎么做...

什么是事实表？ 记录一个业务过程的表叫做事实表。 比如广告点击表，记录的就是一条广告被点击的业务过程。 事实表的作用 描述业务过程； 事实表都包含哪些类型？ 事务型事实表：...

什么是数据一致性问题 一个概念在不同的业务中存在两种不同的解释或者表现，比如很简单的性别，在游戏部门性别男被定为1，女被定为0；商业化部门男被定为0，女被定为1.其实如果分...

OLTP 传统的联机事务处理系统。尽最大可能减少冗余，包含增删改查操作，通常采用规范化的技术来设计数据模型 OLAP 联机分析处理系统，主要面临的是数据追加和数据查询分析。...

数仓是什么， 是用来干什么的？为什么要用到数仓？什么样的场景需要用到数仓？普通数仓和大数据数仓有什么区别...

待补充：收集尽可能多的参数，这里只是几个主要的参数 示例 spark提交作业示例 都有什么参数 spark提交作业中的参数： master 指定spark提交的方式，可以是...