IT果果日记

前言 最近项目上要求把数据库从MySQL迁移到国产数据库人大金仓，其中涉及到两个技术问题： 将MySQL的数据迁移到金仓数据库； 将项目上Flink-MySQL-CDC的代...

本文介绍如何结合K8S、Dinky与Flink，构建云原生实时计算平台，实现计算资源的高效管理与可视化运维。...

提到多数据源，你可以首先想到Mybatis-Plus的多数据源。今天介绍的多数据源绝对颠覆你的认知。（至少把我震惊了） 有没有想过通过SQL的方式查询内存对象，CSV，甚至...

今天我们结合 `Kubernetes` 和 `Flink 1.14` 版本，通过 图解 + 实战教程，为大家全面讲解 Flink on K8S 的安装部署、运行原理、提交流...

本文介绍了Dinky与K8s集成指南，包括环境准备、服务账号创建、镜像制作、Dockerfile编写、镜像构建推送、Kubernetes集群配置，以及FlinkSQL任务的...

在程序编码的时候，我们总会统一返回响应参数，以规范开发。但是面对老项目改造的时候，有没有遇到过返回的参数不统一的情况，自己又不原因一个个的纠正。那么这篇文章将从不同的角度给...

给DataX配置加密的方法 前言 在生产环境中使用DataX，往往在json配置文件中需要用到数据库的账号信息，这是非常不安全的。好在DataX自带的功能支持对敏感信息加密...

详解DataX开发达梦数据库插件 引言 DataX对于达梦数据库支持有限，不像MySQL有自己的reader和writer插件，DataX将达梦数据库视作关系型数据库，其读...

Flink+Dinky实现UDF自定义函数 前言 在大数据中，Apache Flink 以其流批一体的架构、亚秒级延迟和精确一次处理的特性，成为实时计算领域的领头羊。但当面...

没有Kafka怎么办？Flink SQL 创建 mysql-cdc 作业 前言 在大数据与实时计算的浪潮中，如何高效、低延迟地捕获和处理业务数据库的变更日志，已成为构建流式...

flink+dolphinscheduler+dinky打造自动化数仓平台 前言 Dinky ，让 Apache Flink 纵享丝滑！ 在大数据技术日新月异的今天，实时数...

你有没有遇到过这种场景：写了一个函数，参数死板得像石头，非得按照顺序一个个传。如果临时想多加几个参数，立马报错。于是你只能不停改函数定义，改着改着自己都乱了。 其实 Pyt...

引言 在大数据时代，企业亟需能够同时应对海量数据和实时分析挑战的引擎。Apache Doris（原 Palo） 应运而生，它是一个现代化、高性能的 MPP（大规模并行处理）...

flink sql方式读取kafka实时流数据 安装Flink 环境变量 启动 验证是否运行成功， 应看到 StandaloneSessionClusterEntrypoi...

Spring Cloud Stream：消息驱动架构的统一编程之道 前言 在微服务架构蓬勃发展的今天，服务间的异步通信已成为系统解耦、流量削峰和实时数据处理的核心技术手段。...

Spring Kafka示例 & 监听超时问题 前言 在Spring项目中使用Spring Kafka工具连接Kafka Broker，在启动时遇到监听超时问题，特此记录一...

大家好，我是朽木白，一名非常普通的前端程序员，在前端这条路上淌七年的浑水，毫无建树。曾经我的年薪也达到过46w，后来在互联网泡沫的末法时代，不得已换了一份工作，自降6k去了...

ubuntu安装kafka 前言 Apache Kafka 是一款开源的 分布式流处理平台，最初由 LinkedIn开发，用于处理实时数据管道和流式分析。其核心设计目标是 ...

大模型RAG之检索排序Rerank 前言 Xinference 是一款由 领先AI团队 开发的 开源 RAG（Retrieval-Augmented Generation）...

ubuntu安装DolphinScheduler 前言 DolphinScheduler是一款开源的 分布式大数据工作流调度系统，核心功能是帮助用户高效管理复杂的数据处理流...