邵嘉

ODS 层 采集到 kafka 直接作为 ODS 层，不需要额外处理，保持数据原貌。 日志数据主题：ods_base_log 业务数据主题：ods_base_db_m DW...

分层介绍 需求分析及实现思路   在之前介绍实时数仓概念时讨论过，建设实时数仓的目的，主要是增加数据计算的复用性。每次新增加统计需求时，不至于从原始数据进行计算，而是从半成...

这篇文章主要为大家介绍了vue项目中的扫码支付功能，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下。...

简单介绍一下 Flink   Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能...

Spark解决什么问题 二 Spark为什么会有自己的资源调度器 三 Spark运行模式 四 Spark常用端口号 五 Spark提交作业参数 六 Spark的transf...

正则表达式一般用于字符串匹配，字符串查找和字符串替换。别小看它的作用，在工作学习中灵活运用正则表达式处理字符串能够大幅度提高效率。...

这是我参与更文挑战的第8天，活动详情查看：更文挑战 8.搜索查找类 8.1 find 基本语法 选项说明 选项 功能 -name<查询方式> 按照指定的文件名查找模式查找文...

这是我参与更文挑战的第4天，活动详情查看：更文挑战 介绍 RDD算子从对数据操作来讲大致分为两类: 转换(transformations)和行动(action) 转换算子:...

从 二进制、IEEE754浮点数、计算机存储和计算浮点数的原理来深度解释0.1+0.2!=0.3的现象。浮点数运算原理？拿来吧你。...

这是我参与 8 月更文挑战的第 15 天，活动详情查看： 8月更文挑战 接上文通过AOP实现系统日志管理(1) 5. mapper层 LogMapper 然后在resour...

1. 运行架构 Spark框架的核心是一个计算引擎，它采用了标准 master-slave 的结构。 Spark执行时的基本结构。图中的Driver表示master，负责管...

算子从对数据操作来讲大致分为两类: 转换(transformations)和行动(action) 转换算子: 将一个RDD转换为另一个RDD，仅仅只是功能叠加，并不会真正去...

算子调优四：filter与coalesce的配合使用   在Spark任务中我们经常会使用filter算子完成RDD中数据的过滤，在任务初始阶段，...

Contition是一种广义上的条件队列，它利用await()和signal()为线程提供了一种更为灵活的等待/通知模式。...

、算子调优一：mapPartitions   普通的map算子对RDD中的每一个元素进行操作，而mapPartitions算子对RDD中每一个分区进行操作。如果是普通的ma...

大家好，我是 **「小黄学长」** ，很久没有更新博客了，前面一段时间都在努力的适应正式工作的节奏。最近，我打算开启一个新的博客专题 —— 零基础入门前端经验分享。今天要分...

xdm，大家好，我是摸鱼专家呀，我又带来最新的排行榜啦。 初衷：通过排行榜激励每位创作者，创作出许许多多的优质文章，让大家卷起来...

Kryo序列化 Kryo序列化比Java序列化更快更紧凑，但Spark默认的序列化是Java序列化并不是Spark序列化，因为Spark并不支持所有序列化类型，而且每次使用...

这是我参与8月更文挑战的第4天，活动详情查看： 8月更文挑战 Web Sockets websockets语法 参数 url 要连接的URL；这应该是WebSocket服务...