归露

5. 定义数据库配置类 6. 定义CDC操作类型枚举类 7. 封装 Kafka 工具类 8. 封装 redis 工具类，缓存DIM数据 9. 封装 Phoenix 工具类，...

概览 一、离线计算和实时计算的差别 离线计算：计算前就已知所以输入数据，且输入数据不会发生变化，一般计算量很大，计算时间也比较长。 一般都是根据前一日的数据生成报表，虽然统...

作者：闲鱼技术——迎墨 引言 在电商体系中，有一个比较重要的概念，就是关于商品系统的SPU和SKU，这个概念直接决定了商品在系统中的储存结构。SPU用最短最标准的语言表达一...

1. 分析数据 本次只分析Table 1: The Base 64 Alphabet(含+,/)的情况，所以会跳过newline，linemax相关部分 2. 分析规则 例...

分层介绍 需求分析及实现思路   在之前介绍实时数仓概念时讨论过，建设实时数仓的目的，主要是增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成...

ODS 层 采集到 kafka 直接作为 ODS 层，不需要额外处理，保持数据原貌。 日志数据主题：ods_base_log 业务数据主题：ods_base_db_m DW...

出现死锁怎么办？重启？或许你可以试试这 2 种方案：顺序锁和轮询锁，帮你轻松解决死锁...........

本文主要推荐几个百度飞浆开源项目，包含 情话生成模型、藏头诗生成模型、诗歌生成模型、对联生成模型，使用简单，上手容易...

日志数据采集 流程 前端埋点 通过nginx到日志服务器 将 Event 打印到日志文件 将 Event 发送至Kafka 实现 1. 新建日志项目...

npm run dev 是vue-cli2.0版本使用的 npm run serve 是vue-cli3.0版本使用的 dev build serve? 在我们运行一些 v...

数据倾斜解决方案三：过滤导致倾斜的key 如果在Spark作业中允许丢弃某些数据，那么可以考虑将可能导致数据倾斜的key进行过滤，滤除可能导致数据倾斜的key对应的数据，这...

xdm，大家好，我是摸鱼专家呀，我又带来最新的排行榜啦。 初衷：通过排行榜激励每位创作者，创作出许许多多的优质文章，让大家卷起来...

数据倾斜解决方案六：使用随机key实现双重聚合 当使用了类似于groupByKey、reduceByKey这样的算子时，可以考虑使用随机key实现双重聚合首先，通过map算...

FLume组成部分 1. taildir source 断点续传、多目录 Flume Apache1.7 CDH1.6 版本产生的 没有断点续传功能时怎么做的？ 自定义 t...

常规性能调优四：并行度调节   Spark作业中的并行度指各个stage的task的数量。   如果并行度设置不合理而导致并行度过低，会导致资源的极大浪费...

概述 上篇文章写了几种支持 高亮展示固定行并滑动文本的自定义View, 效果如下： 这篇文章再来写一个比较有意思的自定义 View, 我想大家在工作中应该基本上都写过类似的...

随着SPA单页面应用复杂度的提高，状态也会变大，管理状态的难度也会增加。为了更好的管理应用的状态，或许会考虑状态使用react状态管理的库，但是该考虑和如何选择？...

这是我参与8月更文挑战的第9天，活动详情查看：8月更文挑战 leetcode-313-超级丑数 [博客链接] 菜🐔的学习之路 掘金首页 [题目描述] 超级丑数 是一个正整...

这是我参与8月更文挑战的第10天，活动详情查看： 8月更文挑战 dSYM你是如何分析的？ dSYM是什么？ Xcode编译项目之后，我们会看到一个同名的dSYM文件，dSY...

Kryo序列化 Kryo序列化比Java序列化更快更紧凑，但Spark默认的序列化是Java序列化并不是Spark序列化，因为Spark并不支持所有序列化类型，而且每次使用...