从大数据到人工智能

平常在开发的时候经常需要使用某些软件协同进行功能调试，比如说，在做基于Flink CDC的时候，需要将数据从mysql binlog导入到kafka，然后再导入到hudi数据湖。那么问题就来了，要做这么一件事情，我需要先起一个mysql，一个kafka，一个yarn集群、一个hd...

Zeppelin是基于 Web 的notebook，是支持使用 SQL、Scala、Python、R 等进行数据驱动的交互式数据分析和协作的Notebook。Zeppelin支持多种语言后端，Apache Zeppelin 解释器允许将任何语言/数据处理后端插入 Zeppelin...

Flink从1.13版本开始支持在SQL Client从savepoint恢复作业。接下来我们从Flink SQL Client构建一个mysql cdc数据经kafka入hudi数据湖的例子。在上述第二步中，我们通过手工停止kafka→hudi的Flink任务，然后在Flink...

Apache Hudi 使用索引来定位更新/删除所属的文件组。 对于 Copy-On-Write 表，通过避免需要连接整个数据集来确定要重写哪些文件，这可以实现快速的 upsert/delete 操作。 对于 Merge-On-Read 表，这种设计允许 Hudi 限制任何给定基...

Apache Kafka是一个事件流平台，其结合了三个关键的功能，使你可以完成端到端的事件流解决方案。发布(写)和订阅(读)事件流，包括从其他系统连续导入/导出数据。 事件流存储具有持久性和可靠性。 可以处理当前时刻或者以往的事件流。所有这些功能都是以分布式、高度可伸缩、弹性、容...

wget https://dl.grafana.com/enterprise/release/grafana-enterprise_8.1.5_amd64.sudo dpkg -i grafana-enterprise_8.1.5_amd64.wget https://dl.gr...

对hudi相关指标进行监控，只需要在将数据写入hudi的时候进行监控配置即可，本文以Flink SQL Client实战CDC数据入湖为例，对其指标进行监控。本文使用的示例与Flink SQL Client实战CDC数据入湖文章所述基本一致，只是在创建hudi目标表有所不同，并且...

wget https://github.com/prometheus/prometheus/releases/download/v2.30.0/prometheus-2.30.0.linux-amd64.tar.tar zxvf prometheus-2.30.0.linux-a...

要完成如下任务，请确保已经使用其他方法将hudi数据同步到hive中。如果没有同步hive数据，可参考文章：使用flink SQL Client将mysql数据写入到hudi并同步到hive，并且，以下内容中的presto查询，即是基于上述参考文章所同步的hive表进行查询的，建...