技术随笔

最近看到一篇好文章，是6年前redis之父写的，虽然过了这么久，但是这些内容并没有过气。 标题《Writing system software: code comments》，链接是：http://a

11月29号和30号，Flink Forward Asia 在上海举行。这篇文章给大家搞个省流版，聊聊有什么值得关注的点。

鸿蒙论文中提到的一些性能优化的思路和方法是很有学习价值的，结合论文里提到的点，我做了个视频。为了方便大家观看，我梳理了这个文字版本。

前阵子团队里出了个大故障，本质是因为其他语言实现的client有问题，非常频繁的请求大量元数据，而Kafka服务端这边也没有做什么限制，导致Kafka Broker宕了。

需求分析是工程师的必备技能之一。我们常说一些架构师多少多少牛逼，系统设计的多好多好——而系统设计的底座正是需求分析。基于详细的需求分析底座加上已知的业界理论上限，才能让我们更好得去设计好一个系统。

前阵子团队里有人提到了类似的问题，我自己先是顺手找了一圈，结果只找到了：https://github.com/xormplus/xorm。这个框架是基于xorm做的加强，但是在2020年就不维护了。

如果让你做一个分布式数据库的优化器，面对以下的SQL，你会想到什么好的方法去执行他们呢？ - `SELECT id, name FROM person WHERE age >= 18 or he

笔者的主力语言是Java，近三年Kotlin、Groovy、Go、TypeScript写得比较多。早年间还写过一些Python和JavaScript。总得来说落地在生产中的语言都是应用级语言...

从那刻起，我诞生了一个想法——撸一个和Flink SQL Helper差不多的插件，但是for Hive and Spark SQL。我趁着国庆休假的时候完成了大部分逻辑，并陆陆续续自测、在公司里..

前阵子向大家分享了我写的插件Flink SQL Helper。最近梳理了我之前的学习相关知识时的笔记，希望能够帮到对这一块实现感兴趣的同学。

分享一个能够有效提升FlinkSQL开发效率的插件。目前市面上都没有类似的插件，希望这个开源项目能给广大开发者带来福利。

最近因为业务需要在学Go语言，虽然之前也用过别的语言，但主力语言一直是Java。在这里也想主要想用Java做对比，写几篇笔记。

前阵子遇上了一个Starrocks上的SQL性能问题。之前没暴露原因有2: 1. 没对单个SQL的内存消耗做限制。 1. 不到黑五，量没有上来。

前阵子在B站刷到了周志明博士的视频，主题是云原生时代下java 主要讲的是云原生时代下的挑战与Java社区的对策。这个视频我在两年前看到过，当时也是印象深刻。现在笔者也是想和大家一起看看相关项目...

最近负责了产品中一部分的监控事宜。我想到时序数据库的对于RT和IOPS的要求应该很高，因此想看看它内部是怎么实现的——会不会和我认识的Kafka、HBase很像。

前阵子在生产上碰到了一个诡异现象：全量作业无法正常进行，日志中充斥着timeout的报错。场景为Oracle全量抽取至Hive，数据会流过Kafka，数据量为T级别，根据时间字段每天做一个分区。

最近Iceberg有点小火，在这里也是根据自己看到的资料做个笔记输出一下。数据湖的定义就不说了，不了解的小伙伴可以看我之前做的笔记大数据学习笔记1：数仓、数据湖、数据中台。

前阵子笔者涉及了些许监控相关的开发工作，在开发过程中也碰到过些许问题，便翻读了FLink相关部分的代码，在读代码的过程中发现了一些好的设计，因此也是写成文章整理上来。

商业智能（Business Intelligence）诞生在上个世纪 90 年代，它是将企业已有的数据转化为知识，帮助企业做出经营分析决策。

大数据从数据源开始，经过分析、挖掘到最终获得价值一般需要经过6个主要环节，包括数据收集、数据存储、资源管理与服务协调、计算引擎、数据分析和数据可视化，技术体系如图所示。每个环节都面临不同程度的技术挑战