喵呜刷题

exactly-once 恰好一次。消息有且仅会被传输一次 即使producer重试发送消息，消息也会保证最多一次地传递给最终consumer。该语义是最理想的，但也难以实...

ClickHouse 非常亲和且具有自己的个性 支持完备的SQL操作 列式存储与数据压缩 向量化执行引擎 关系型模型(与传统数据库类似) 丰富的表引擎 并行处理 在线查询 ...

Java Thread State 线程状态第一分析法则 1、线程状态为“waiting for monitor entry”： 意味着它 在等待进入一个临界区...

KeepAlive既熟悉又陌生，踩过坑的同学都知道痛。一线运维工程师踩坑之后对于KeepAlive的总结，你不应该错过！ 最近工作中遇到一个问题，想把它记录下来，场景是这样...

在 Flink 的后台任务管理中，可以看到 Flink 的哪个算子和 task 出现了反压； 资源调优和算子调优： 资源调优即对作业中的 Operator 并发数（Para...

根据我们业务对维表数据关联的时效性要求，有以下几种解决方案：1、实时查询维表 2、预加载全量数据 3、LRU 缓存(最近最少使用的数据则被淘汰) 4、将维表消息广播出去...

flink数据倾斜的表现： 任务节点频繁出现反压，增加并行度也不能解决问题 部分节点出现OOM异常，是因为大量的数据集中在某个节点上，导致该节点内存被爆，任务失败重启...

Flink的窗口机制是其底层核心之一，也是高效流处理的关键。Flink窗口分配的基类是WindowAssigner抽象类，下面的类图示出了Flink能够提供的所有窗口类型。...

什么是僵尸进程和孤儿进程： 在 Unix/Linux 系统中，正常情况下，子进程是通过父进程创建的，且两者的运行是相互独立的，父进程永远无法预测子进程到底什么时候结束。...

基本类型划分 在Flink中，按照基本类型，对State做了以下两类的划分： Keyed State，和Key有关的状态类型，它只能被基于KeyedStream之上的操作，...

1.开发者模式     在idea中运行Flink程序的方式就是开发模式。 2.local-cluster模式     Flink中的Local-cluster(本地集群)...

基于 Hive 的离线数仓往往是企业大数据生产系统中不可缺少的一环。Hive 数仓有很高的成熟度和稳定性，但由于它是离线的，延时很大。...

Omega架构我们暂且称之为混合数仓。在谈我们的解法的时候，必须要先提ECS的设计模式。 简单的说，Entity、Component、System分别代表了三类模型。...

对于实时数仓而言，Lmabda架构有很明显的不足，首先同时维护两套系统，资源占用率高，其次这两套系统的数据处理逻辑相同，代码重复开发。 能否有一种架构，只需要维护一套系统，...

Lambda架构是由Storm的作者Nathan Marz提出的一个实时大数据处理框架。Marz在Twitter工作期间开发了著名的实时大数据处理框架Storm...

现在的你编程的时候还关心时间复杂度吗? 关心：说明你很牛，因为你把算法和数据结构牢记于心，你有成为架构师的潜质。 不关心：说明你很正确，现在 CPU 的高性能之下你无需关心...

Hive 大表和小表的关联 优先选择将小表放在内存中。 小表不足以放到内存中，可以通过bucket-map-join(不清楚的话看底部文章)来实现，效果很明显。...

字符串类型的索引 数字类型的索引 结论 mysql sql优化器，对于where后面字段类型为字符串的数字，如果用数字去匹配(就是不用引号引上数字)，则不能由索引直接命中，...