大数据开发

Clickhouse获取本周的最后一天、本月的最后一天 Clickhouse官网日期函数： https://clickhouse.com/docs/zh/sql-reference/functions

缓存过期和淘汰策略 Redis性能高：Redis作为缓存使用，key会不断增加，物理内存也会满。需要设定策略定期清除某些不常用的key。

Redis高可用方案（一）：主从复制与哨兵机制。主从复制功能，可以通过执行slaveof或者在配置文件中设置 slaveof。哨兵由一个或多个sentinel实例组成sentinel集群。

Redis高可用方案（二）：集群与分区 分区是将数据分布在多个Redis实例（Redis主机）上，以至于每个实例只包含一部分数据。 从而实现性能的提升

Kafka中的消费组和位移管理相关介绍。消费者组、位移提交（手动提交和自动提交）、再均衡策略和分配方式

Linux shell脚本输出日志 使用时通过函数调用的方式即可，将正确和错误提示信息输出到控制台，并用颜色区分显示

在做数据ETL的时候，需要对某个每天新增原始数据的表，提取出有价值的数据内容下沉到另一张表中，也就是一个初步的ETL过程.由于需要处理的历史数据可能是多天,所以需要我们编写脚本来去指定日期，自动运行

Flink读取Kafka数据下沉到Clickhouse 在实时流数据处理中，我们通常可以采用Flink+Clickhouse的方式做实时的OLAP处理。本文采用一个案例来简要介绍一下整体的流程。

clickhouse是采用分片的方式进行数据的存储的，类似于redis集群的实现方式。然后想进行统一的查询的时候，因为涉及到多个本地表，可以通过分布式表的方式来提供统一的入口。

Kafka创建消费者订阅、取消订阅指定主题(subscribe)或分区(assign)实现详解及区别。