曾小康

本文将个推Flink SQL使用和调优经验进行了总结，旨在帮助大家在基于Flink SQL进行实时计算作业时少走弯路、提升效率。

虽然实时计算在最近几年才火起来，但是在早期也有部分公司有实时计算的需求，但是数据量比较少，所以在实时方面形成不了完整的体系

数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。本文针对数仓建模理论进行归纳总结。整理了一套完整的数仓建模流程。

背景 公司业务整合，指标管理混乱，数据不一致问题严重，另外指标的开发和迭代效率也比较低； 举措：进行集团指标认证，数据指标重新开发； 建设前 面临的问题 指标非常多，业务复杂，变化快； 人少，排期紧张

引言 Flink知识回顾考卷如下: 选择题 1.下面哪个不是 Dataset的转换算子() A. readTextFile B reduce distinct D rebalance A 2.关于状态

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。平台以流程图的方式定义爬虫,是一个高度灵活可配置的爬虫平台。

数据平台是基于Flink计算框架，集成Kafka、Clickhouse等大数据组件，具备数据采集、数据同步、数据存储、实时计算、离线计算、数据治理、数据服务等能力。

本文是历时一周整理的Spark保姆级教程。基于面试角度出发，涉及内容有Spark的相关概念、架构原理、部署、调优及实战问题。

大多数企业面临数据源多、结构复杂的问题，为了更好的管理数据和赋能价值，常常会在集团、部门内进行数仓建设。