Simon_____

我们前面其实一直都有在使用窗口，那么我们现在来针对窗口的各种类型做一个演示。 聚合事件（比如计数、求和）在流上的工作方式与批处理不同。比如，对流中的所有元素进行计数是不可能的，因为通常流是无限的（无界的）。所以，流上的聚合需要由 window 来划定范围，比如 “计算过去的5分…

在hive-default.xml.template文件中 ==hive.fetch.task.conversion默认是more==，老版本hive默认是minimal，该属性修改为more以后，在全局查找、字段查找、limit查找等都不走mapreduce。 把hive.f…

继上一篇Flink的state、checkpoint、savepoint之后，这一篇主要是演示Flink的Event Time、Watermark的使用。 到现在也写了好几篇了，感觉写的不太好，好像就平铺直述的感觉，可能还是没什么写这东西的天分，就当做是记录吧。如果有什么不足与…

继上一章flink之基础使用之后，这章主要是讲flink关于在程序运行时，如何保证程序的一些信息的保存，以及在出错或者异常之后，如何进行恢复。例如消费kafka的时候，需要记录消费到哪个个位置，然后重启之后继续从之前的位置消费，保证exactly-once语义。又或者一个窗口计…

最近没什么事干就开始整理一下以前用过的技术，打发时间。 我之前基于Flink的使用主要也是用于实时处理，离线基本使用spark,这里可以简单了解一下Flink 与 Spark 简要对比，简单来讲就是实时处理方面Flink更好，离线Spark更好。安装部署的话，我这边就不再演示了…

上一篇kylin-安装部署主要是进行安装和简单介绍，现在是对kylin的使用。 Demo数据,我们有这样的一个需求，分析薪资受哪些因素影响。 简单来说维度就是观察数据的角度，他通常是数据记录的一个属性，例如上图中，薪资可能跟工作类型有关系，也可能与入职年限有关系，那么job和h…