大数据

上进小菜猪，沈工大软件工程专业，爱好敲代码，持续输出干货。 MapReduce是一个经典的大数据处理框架，可以帮助我们高效地处理庞大的数据集。本文将介绍MapReduce的基本原理和实现方法，并给出一

![file](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/90a6ea603ff144a8948ef89493faaa2c~tplv-k3u

在经过v1.0~v1.4四个版本迭代后，SREWorks的核心底座已经表现出极高的稳定性和成熟性。在v1.5版本中，SREWorks开发团队在核心底座上，进行了较多的数智化能力迭代。

中国头部游戏公司莉莉丝游戏（Lilith）和火山引擎 ByteHouse 达成合作，共同致力于加速莉莉丝游戏的实时数仓建设。此次合作将利用 ByteHouse 的创新技术和功能，为广告运营分析业务提效

知乎为实现精细化运营，提高运营效率，依赖 Apache Doris 构建了内部统一的运营分析平台——舰桥平台。

本次分享围绕小米在实时数仓方面的探索与实践展开，主要涉及：Flink+Iceberg 实时数仓架构升级，稳定性与实时性优化；基于当前 Flink 实时数仓的不确定性问题

![file](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/8321cb9a78c34fc3947f904c089527f0~tplv-k3u

Cloudflare在处理大量数据时使用Kafka集群，开发了一个通用的消息总线集群，以解耦团队、有效扩展和处理数万亿条消息。  为了解决事件驱动系统中无结构通信的问题，应建立一个强有力的契

近期，火山引擎DataLeap和技术社区DataFun联合发布《数据治理知识地图专业版V1》（以下简称“地图”），地图将数据治理的领域、流程、技术、工具等内容进行系统化整理和分类，为从业者提供全面的学

![file](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/abf86eaed9e340e1b9cf58fc9dd931e3~tplv-k3u

## 如何计算 CPU 占用率？ 简单来说，进程的 CPU 占用率指的是 CPU 有多少时间花费在了运行进程上。在 Linux 系统里，进程运行的时间是以`jiffies`[1]统计的，通过计算`

第二章：流式Data Mesh介绍 在第一章中，我们介绍并总结了数据网格架构的四个支柱。现在，我们将将这些入门知识应用于流式数据网格。简而言之，流式数据网格是一个满足所有支柱要求的数据网格，以流式数据

数据标准是数据治理体系中的核心要素之一。 一方面，统一的数据标准可以在复杂的业务场景下，帮助团队对齐数据口径，提升数据在分析、诊断等场景的质量与效率；另一方面，数仓团队与分析师团队也需要沉淀一套敏捷、

![file](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/d4ec7560e7a0492c845c6426bd7bcd21~tplv-k3u

本次分享将从 Checkpoint 的性能优化历程出发，介绍 ChangelogStateBackend 的基本机制、应用场景和未来规划，同时介绍最新版本在 State 上的一些优化工作。

本文将基于测试结果详细分析 Hybrid Shuffle 的优势场景，并基于我们的经验给出一些使用建议。

FTP服务（File Transfer Protocol，FTP）是最早应用于主机之间数据传输的基本服务之一，是目前使用最广泛的文件传送协议。FTP文件共享服务器在日常办公中可以实现多人之间文件的传递

Flink是一个分布式系统，需要有效分配和管理计算资源，以执行流式应用程序。它与Hadoop YARN和Kubernetes等所有常见的集群资源管理器集成。

Apache Doris 作为基于 MPP 架构的 OLAP 数据库，数据从磁盘加载到内存后，会在算子间流式传递并计算，在内存中存储计算的中间结果，这种方式减少了频繁的磁盘 I/O 操作，充分利