什么是CDC？ CDC是（Change Data Capture 变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等

相对于其他数据集成框架，Flink CDC 具有全增量一体化、无锁读取、并发读取、表结构变更自动同步、分布式架构等技术优势，在开源社区中非常受欢迎

近期项目中需要对数据进行转存，简单学习了一下Flink相关的知识点，通过一个简单的集成，对近期的学习成果做一个记录和梳理，帮助初学的同学窥探Flink流式数据处理的完整过程。Demo的设计思路是：应用系统定期向Kafka中发送数据，Flink获取Kafka中的流式数据后存储到M…

流处理引擎经历了从Storm到Spark Streaming再到Flink的三代的技术迭代，大数据处理也随之经历了从Lambda架构到Kappa架构的演进。本节以电商平台的数据分析为例，来解释大数据处理平台如何支持企业在线服务。电商平台会将用户在APP或网页的搜索、点击和购买行…

💯大数据开发笔记系列： 1️⃣大数据开发笔记（一）：HDFS介绍 2️⃣大数据开发笔记（二）：Yarn分布式集群操作系统 3️⃣大数据开发笔记（三）：Mapreduce 4️⃣大数据开发笔记（四）：H

在开源世界里，Apache Storm项目是流处理的先锋。Storm最早由Nathan Marz和创业公司BackType的一个团队开发，后来才被Apache基金会接纳。Storm提供了低延迟的流处理，但是它为实时性付出了一些代价：很难实现高吞吐，并且其正确性没能达到通常所需的…

如果要问最近几年，IT行业哪个技术方向最火？一定属于ABC，即AI + Big Data + Cloud，也就是人工智能、大数据和云计算。 这几年，随着互联网大潮走向低谷，同时传统企业纷纷进行数字化转型，基本各个公司都在考虑如何进一步挖掘数据价值，提高企业的运营效率。在这种趋势…

什么人工智能和人工智能系统 人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

这些年人类生产的数据呈爆发式增长，从十几年前移动智能设备的兴起，到如今人们身上穿戴的各种传感器设备，都在24小时不断产生大量数据。这些数据包括文本、语音、图像、视频等等。 大数据这个词最早出现在20世纪90年代，当时只是用来描述数据量很大，但并没有给出明确的定义和概念意思。出现…