Moccanism

前言 前几天有社区小伙伴私聊我，问我都用哪些IDEA插件，我的IDEA的主题看起来不错。 作为一个开源作者，每周要code大量的代码，提升日常工作效率是我一直追求的，在众多...

米哈游大数据部实时计算负责人张剑对于 Flink 在米哈游应用及实践的分享。本篇内容主要分为四个部分：背景介绍、实时平台建设、实时数仓和数据湖探索、未来发展与展望...

作者：余东 一、背景及痛点 1. 背景 我们在使用 Flink 做实时数仓以及数据传输过程中，遇到了一些问题：比如 Kafka 数据丢失，Flink 结合 Hive 的近实...

Flink 1.11 引入了 Flink SQL CDC，CDC 能给我们数据和业务间能带来什么变化？本文由 Apache Flink PMC，阿里巴巴技术专家伍翀 (云邪...

作者：曾庆东，金地物业中级开发工程师，负责聚合营业平台实时计算开发及运维工作，从事过大数据开发，目前专注于apache flink实时计算，喜欢开源技术，喜欢分享。 本人目...

闲鱼目前实际生产部署环境越来越复杂，横向依赖各种服务盘宗错节，纵向依赖的运行环境也越来越复杂。当服务出现问题的时候，能否及时在海量的数据中定位到问题根因，成为考验闲鱼服务能...

在继续学习 GBDT（Gradient Boosting Dicision Tree） 决策树前，我们需要先来了解下逻辑回归算法（Logistic Regression），...

Hive 数据倾斜怎么发现，怎么定位，怎么解决 多数介绍数据倾斜的文章都是以大篇幅的理论为主，并没有给出具体的数据倾斜案例。当工作中遇到了倾斜问题，这些理论很难直接应用，导...

Systemd 作为 Linux 的系统启动器，功能强大。本文通过一个简单例子，介绍 Systemd 如何设置定时任务。这不仅实用，而且可以作为 Systemd 的上手教程...

本文会提到52条SQL语句性能优化策略。1、对查询进行优化，应尽量避免全表扫描，首先应考虑在WHERE及ORDERBY涉及的列上建立索引。2、应尽量避免在WHERE子句中对...

做过数据清洗ETL工作的都知道，行列转换是一个常见的数据整理需求。在不同的编程语言中有不同的实现方法，比如SQL中使用case+group，或者Power BI的M语言中用...

这种数据结构同C语言的结构体，内部可以包含不同类型的数据。还是用上面的数据，先创建一个包含struct的DataFrame Spark 最强的功能之一就是定义你自己的函数（...

前言数据准备数据集建表语句窗口函数row_number：使用频率★★★★★rank：使用频率★★★★dense_rank：使用频率★★★★rank/dense_rank/r...