白鲸开源

想象一下，你寄送的重要快递被退回了，快递员不会直接丢弃，而是根据你的要求间隔几小时后重新投递，直到成功或达到最大投递次数。Apache DolphinScheduler的任...

在数字化浪潮下，数据成为企业核心资产，如何高效管理与运用数据至关重要。为此，白鲸开源特推出系列文章，围绕数据湖仓设计与实践展开，深度剖析数据架构、开发规范等关键内容。...

最近在几个数据中台项目里，频繁用SeaTunnel做MongoDB到Doris的数据同步。说实话，这活儿看着简单，真上手了才发现坑不少。尤其是生产环境，数据量大、结构复杂，...

本文对 DataX、Airbyte、Canal、Debezium、Fivetran 与 Apache SeaTunnel 六款工具做了全面对比，并解析 Apache Sea...

任务调度一个始终绕不开的问题是：当时间到了，或者事件发生了，这个 Workflow 到底是如何一步步“跑起来”的？...

本文为《深入理解 Apache DolphinScheduler：从调度原理到 DataOps 实战》系列专栏第 2 篇，从源码与调度模型视角，解析 DolphinSche...

很多团队一开始都把调度系统当成“定时跑任务的工具”，直到任务规模上来、依赖变复杂、失败开始难以恢复，才意识到问题的根源并不在脚本本身。...

在数据集成领域，Airbyte 曾凭借开源和丰富的连接器库迅速流行。但在与架构师聊天的过程中我发现，随着企业级使用需求增加，在复杂企业环境中，Airbyte 仍存在一些局限...

本文介绍如何快速上手 Apache SeaTunnel，并通过原理解析、配置对比和自动化迁移工具，帮助你 低成本、快速完成 DataX 任务向 SeaTunnel 的迁移。...

本文档将深入解析 Apache SeaTunnel 支持的三大执行引擎：Zeta (SeaTunnel Engine)、Flink 和 Spark。...

欢迎来到 Apache SeaTunnel 的世界！这份文档旨在帮助新手快速了解 SeaTunnel 的核心功能、基本架构，并完成第一个数据同步任务。...

集团内部关于数据平台近期遇到了两次异构数据源的问题，洽好利用了开源工具简单应对，验证了自己目前工作的思路，正好总结一下分享过程中的收获也经验。...

本文将深入介绍 Apache DolphinScheduler 所采用的数据库模式，此模式主要用于持久化存储工作流定义、执行状态、调度信息以及系统元数据。...

已经在虚拟机部署好Apache DolphinScheduler了，想尝试下在Flink新建一个Flink节点，然后用Flink消费Kafka数据。...

最新消息，Apache DolphinScheduler 3.4.0 已正式发布！ 本次版本带来了多租户调度隔离、工作流并行性能优化、任务重试与告警机制增强，以及资源管理和...

作为亚洲领先的投资基金，某东南亚投资基金公司（以下简称 A 基金）正处于从传统数仓向企业级数据中台转型的关键期。...

在 MySQL CDC 任务中，很多用户都会遇到这样的问题：任务失败后该从哪里恢复？只知道一个时间点，却拿不到对应的 binlog 位点怎么办？...

这里按照官方提供的文档进行操作。在搭建 DolphinScheduler 开发环境之前请确保你已经安装以下软件。...

值此岁末，让我们一同回首过去一年的奋斗历程，审视得失，为新一年的征程汲取力量。接下来，让我们一同梳理这一年白鲸开源的重要历程。...

这篇就当是一次复盘：从“我以为是流式，不会堆内存”到慢慢意识到——你以为的“流”，其实是很多层 buffer 和 batch 堆起来的。...