首页
AI Coding
数据标注
NEW
沸点
课程
直播
活动
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
登录
注册
大数据开发
Jeremy__
创建于2022-08-02
订阅专栏
介绍大数据开发相关的技术栈和原理,欢迎一起学习
等 4 人订阅
共10篇文章
创建于2022-08-02
订阅专栏
默认顺序
默认顺序
最早发布
最新发布
Clickhouse获取本周的最后一天、本月的最后一天
Clickhouse获取本周的最后一天、本月的最后一天 Clickhouse官网日期函数: https://clickhouse.com/docs/zh/sql-reference/functions
Redis缓存过期和淘汰策略
缓存过期和淘汰策略 Redis性能高:Redis作为缓存使用,key会不断增加,物理内存也会满。需要设定策略定期清除某些不常用的key。
Redis高可用方案(一):主从复制与哨兵机制
Redis高可用方案(一):主从复制与哨兵机制。主从复制功能,可以通过执行slaveof或者在配置文件中设置 slaveof。哨兵由一个或多个sentinel实例组成sentinel集群。
Redis高可用方案(二):集群与分区
Redis高可用方案(二):集群与分区 分区是将数据分布在多个Redis实例(Redis主机)上,以至于每个实例只包含一部分数据。 从而实现性能的提升
Kafka中的消费组和位移管理
Kafka中的消费组和位移管理相关介绍。消费者组、位移提交(手动提交和自动提交)、再均衡策略和分配方式
Linux shell脚本输出日志
Linux shell脚本输出日志 使用时通过函数调用的方式即可,将正确和错误提示信息输出到控制台,并用颜色区分显示
大数据开发:利用shell脚本重刷指定日期区间的历史数据,下沉到clickhouse
在做数据ETL的时候,需要对某个每天新增原始数据的表,提取出有价值的数据内容下沉到另一张表中,也就是一个初步的ETL过程.由于需要处理的历史数据可能是多天,所以需要我们编写脚本来去指定日期,自动运行
Flink读取Kafka数据下沉到Clickhouse
Flink读取Kafka数据下沉到Clickhouse 在实时流数据处理中,我们通常可以采用Flink+Clickhouse的方式做实时的OLAP处理。本文采用一个案例来简要介绍一下整体的流程。
ClickHouse创建分布式表
clickhouse是采用分片的方式进行数据的存储的,类似于redis集群的实现方式。然后想进行统一的查询的时候,因为涉及到多个本地表,可以通过分布式表的方式来提供统一的入口。
Kafka消费者订阅指定主题(subscribe)或分区(assign)详解
Kafka创建消费者订阅、取消订阅指定主题(subscribe)或分区(assign)实现详解及区别。