锺离峰生

分层介绍 需求分析及实现思路   在之前介绍实时数仓概念时讨论过，建设实时数仓的目的，主要是增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成...

前段时间做出来一个活动排名，虽然有很多不足的地方，但是依然收获很多好评。 有些小伙伴很好奇，怎么实现的，最近比较忙，也没及时修复bug、添加新功能，所以决定，公布源码，让大...

先观察 模糊的地方就是有些小黑色点 只需去掉小黑点，就清楚了  先看下效果 原图 修复后  是不是看着还不错 想思路 如何去掉小黑点，拿到每个像素点 将小黑点变成白色的就O...

ODS 层 采集到 kafka 直接作为 ODS 层，不需要额外处理，保持数据原貌。 日志数据主题：ods_base_log 业务数据主题：ods_base_db_m DW...

主要针对 Core Foundation中 的 RunLoop 的5个类 - CFRunLoopRef - CFRunLoopModeRef - CFRunLoopSour...

概览 一、离线计算和实时计算的差别 离线计算：计算前就已知所以输入数据，且输入数据不会发生变化，一般计算量很大，计算时间也比较长。 一般都是根据前一日的数据生成报表，虽然统...

传送门 vite + react + ts 手摸手做项目系列一 （项目配置篇） github地址（github的更新速度比文档要快，文档要追加大量注释）github地址 前...

本文主要推荐几个百度飞浆开源项目，包含 情话生成模型、藏头诗生成模型、诗歌生成模型、对联生成模型，使用简单，上手容易...

1. 运行架构 Spark框架的核心是一个计算引擎，它采用了标准 master-slave 的结构。 Spark执行时的基本结构。图中的Driver表示master，负责管...

算子调优四：filter与coalesce的配合使用   在Spark任务中我们经常会使用filter算子完成RDD中数据的过滤，在任务初始阶段，...

xdm，大家好，我是摸鱼专家呀，我又带来最新的排行榜啦。 初衷：通过排行榜激励每位创作者，创作出许许多多的优质文章，让大家卷起来...

今天又是连续暴雨的一天，已连续下雨好几周了。房间里黑漆漆的，突然想到 JavaScript 的call()、apply()、bind()三个函数。。。人家都在想女友，而我此...

同步函数死锁 主线程因为你同步函数的原因等着先执⾏任务 主队列等着主线程的任务执⾏完毕再执⾏⾃⼰的任务 主队列和主线程相互等待会造成死锁 上...

这是我参与8月更文挑战的第10天，活动详情查看：8月更文挑战 今天继续在家休假一天，早点来掘金写文章。不过其实以现代的工作协作软件和协作方式，工作日的休假完全脱离工作的可能...

类加载器     类加载器(ClassLoader):其作用是将类的.class文件中的二进制数据读入到内存中，将其放在运行时数据区的方法区内，然后转换为一个与目标类对应的...

给掘金做了一个数据统计分析工具，可以统计到大部分作者，每天天增长多少赞，每个小时增长多少浏览，生成top榜单，展示出来...

故障排除一：控制reduce端缓冲大小以避免OOM 在Shuffle过程，reduce端task并不是等到map端task将其数据全部写入磁盘后再去拉取，而是map端写一点...

这是我参与更文挑战的第12天，活动详情查看：更文挑战 5 故障排除四：解决算子函数返回NULL导致的问题 在一些算子函数里，需要我们有一个返回值，但是在一些情况下我们不希望...

在这个快乐的时代，一个好的项目会少了图标的身影？那么如何在自己的项目中做一个快乐的图标组件，脱离被别人扼喉的情况呢？...

安装node环境 因为此框架是基于node.js的，安装node是必须的进行的第一步，这里不再详细介绍 当前环境 安装koa（我们使用淘宝镜像进行安装） 安装完成后，执行n...