首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
大数据技术与数仓
掘友等级
大数据开发工程师
公众号【大数据技术与数仓】首发
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
赞
32
文章 32
沸点 0
赞
32
返回
|
搜索文章
大数据技术与数仓
大数据开发工程师
·
2年前
关注
该如何设计数仓的DWS层
关于数据仓库的分层,似乎大家都有一个共同的认识。但涉及到每一层该如何去建模,可能每个人都有自己的理解。数据建模,毫无疑问是数仓建设的重中之重,然后,在实际的开发过程中,会把...
5
1
分享
大数据技术与数仓
大数据开发工程师
·
2年前
关注
实时数仓|以upsert的方式读写Kafka数据——以Flink1.12为例
在某些场景中,比如GROUP BY聚合之后的结果,需要去更新之前的结果值。这个时候,需要将 Kafka 消息记录的 key 当成主键处理,用来确定一条数据是应该作为插入、删...
2
2
分享
大数据技术与数仓
关注了
已注销
大数据开发工程师
大数据技术与数仓
大数据开发工程师
·
3年前
关注
第十篇SparkStreaming手动维护Kafka Offset的几种方式
Spark Streaming No Receivers 方式的createDirectStream 方法不使用接收器,而是创建输入流直接从Kafka 集群节点拉取消息。输...
2
评论
分享
大数据技术与数仓
大数据开发工程师
·
3年前
关注
Spark的五种JOIN策略解析
JOIN操作是非常常见的数据处理操作,Spark作为一个统一的大数据处理引擎,提供了非常丰富的JOIN场景。本文分享将介绍Spark所提供的5种JOIN策略,希望对你有所帮...
1
评论
分享
大数据技术与数仓
大数据开发工程师
·
3年前
关注
Spark SQL百万级数据批量读写入MySQL
Spark SQL还包括一个可以使用JDBC从其他数据库读取数据的数据源。与使用JdbcRDD相比,应优先使用此功能。这是因为结果作为DataFrame返回,它们可以在Sp...
2
评论
分享
大数据技术与数仓
大数据开发工程师
·
3年前
关注
篇五|ClickHouse数据导入(Flink、Spark、Kafka、MySQL、Hive)
本文主要介绍如何通过Spark程序写入数据到Clickhouse中。 主要是使用ClickHouse的表引擎。 kafka_broker_list :逗号分隔的broker...
9
评论
分享
大数据技术与数仓
大数据开发工程师
·
3年前
关注
篇四|ClickHouse的可视化界面与集群状态监控
⾼亮语法的编辑器。 ⾃动命令补全。 查询命令执⾏的图形分析⼯具。 配⾊⽅案选项。 除此之外,还可以使用DBeaver连接ClickHouse,本文主要介绍这两种工具的使用方...
4
1
分享
大数据技术与数仓
大数据开发工程师
·
3年前
关注
篇三|ClickHouse的数据类型
ClickHouse提供了许多数据类型,它们可以划分为基础类型、复合类型和特殊类型。我们可以在system.data_type_families表中检查数据类型名称以及是否...
1
评论
分享
大数据技术与数仓
大数据开发工程师
·
3年前
关注
篇二|什么是ClickHouse的表引擎?
在上一篇分享中,我们介绍了ClickHouse的安装部署和简单使用。本文将介绍ClickHouse中一个非常重要的概念—表引擎(table engine)。如果对MySQL...
3
评论
分享
大数据技术与数仓
大数据开发工程师
·
3年前
关注
篇一|ClickHouse快速入门
ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。ClickHouse最初是一款名为Yandex.Metrica的产品,主要用于WEB流量...
5
评论
分享
大数据技术与数仓
大数据开发工程师
·
3年前
关注
面试|Kafka常见面试问题总结
现如今,Kafka已不再是一个单纯的消息队列系统。Kafka是一个分布式的流处理平台,被越来越多的公司使用,Kafka可以被用于高性能的数据管道,流处理分析,数据集成等场景...
13
评论
分享
大数据技术与数仓
大数据开发工程师
·
3年前
关注
Hive SQL使用过程中的奇怪现象
hive是基于Hadoop的一个数据仓库工具,用来进行数据的ETL,这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive能将结构化的数据文件映射为一...
1
评论
分享
大数据技术与数仓
大数据开发工程师
·
3年前
关注
使用SQL窗口函数进行商务数据分析
本文会从一个商务分析案例入手,说明SQL窗口函数的使用方式。通过本文的5个需求分析,可以看出SQL窗口函数的功能十分强大,不仅能够使我们编写的SQL逻辑更加清晰,而且在某种...
2
评论
分享
大数据技术与数仓
大数据开发工程师
·
3年前
关注
项目实践|基于Flink的用户行为日志分析系统
用户行为日志分析是实时数据处理很常见的一个应用场景,比如常见的PV、UV统计。本文将基于Flink从0到1构建一个用户行为日志分析系统,包括架构设计与代码实现。本文分享将完...
3
评论
分享
大数据技术与数仓
大数据开发工程师
·
3年前
关注
元数据管理|Hive Hooks和Metastore监听器介绍
元数据管理是数据仓库的核心,它不仅定义了数据仓库有什么,还指明了数据仓库中数据的内容和位置,刻画了数据的提取和转换规则,存储了与数据仓库主题有关的各种商业信息。本文主要介绍...
3
评论
分享
大数据技术与数仓
大数据开发工程师
·
3年前
关注
SQL查询的底层运行原理分析
SQL 语言无处不在。SQL 已经不仅仅是技术人员的专属技能了,似乎人人都会写SQL,就如同人人都是产品经理一样。如果你是做后台开发的,那么CRUD就是家常便饭。如果你是做...
1
评论
分享
大数据技术与数仓
大数据开发工程师
·
3年前
关注
实时数仓|基于Flink1.11的SQL构建实时数仓探索实践
实时数仓主要是为了解决传统数仓数据时效性低的问题,实时数仓通常会用在实时的OLAP分析、实时的数据看板、业务指标实时监控等场景。虽然关于实时数仓的架构及技术选型与传统的离线...
3
1
分享
下一页
个人成就
文章被点赞
105
文章被阅读
51,095
掘力值
1,366
关注了
10
关注者
142
收藏集
0
关注标签
3
加入于
2019-08-23