首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
爱斯基摩人
掘友等级
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
4
文章 4
沸点 0
赞
4
返回
|
搜索文章
最新
热门
kafka数据复制与failover
了解学习别人的方案,不仅仅是掌握技术,其实在处理自己系统的问题和设计时,也会获得启发。所以今天打算聊一下kafka是如何进行数据复制,和failover是如何处理的。从下面几个方面阐述一下: 如图,假设目前kafka集群有4个broker节点,运行3个topic,他们的副本数为…
大数据如何将MySQL数据实时同步至hive仓库-架构设计
今天想和大家讨论下大数据在接入业务数据这一部分的设计,我指的业务数据是存在MySQL或者其它关系型数据库的数据,下面直接进入正题吧。 一次性全量拉取:逻辑上基本采用select * from table的形式,在hive中一般表现为一个分区,也有可能是非分区表的形式。 一次性增…
如何保障大数据质量?
及时性:数据需要及时产出,一般离线系统需要看到前一天的数据,实时系统要求更高。 主要是对数据进行资产等级划分,高等级资产代表对报表质量准确性,风险性要求较高,甚至可能给公司带来损失等,反之,风险低,损失低;不同等级数据在ETL等过程则采用不同的处理方式,例如数据检验级别不同。 …
个人成就
文章被点赞
8
文章被阅读
7,586
掘力值
135
关注了
7
关注者
6
收藏集
0
关注标签
4
加入于
2020-04-29