小段DSH12138

背景         此次需要将10张表[A、B、C、D、E、F、G、H、I、J]的数据union与表∂中的一个字段进行join，以达到筛选数据的目的；其中表A的数据量约为...

业务背景     项目中将两个表进行join，一个大表，一个小表，在平时200 executor-core * 20G executor-memory的资源下跑的挺好的，随...

背景         前段时间做的是一个流式项目里，场景为：对于流式数据，使用过滤规则进行实时过滤并产出结果数据。流式数据为源源不断的IP，筛选出在合格IP集合中的数据，传...

背景     在项目开发中对流式数据使用Spark Structured Streaming进行处理，处理流程为：消息中间件(source) -> Spark Struct...

踩坑背景 流程如下所示： 1.使用SparkSQL获取到了一个DataFrame； 2.然后map这个DataFrame，调用GET接口，获得了IDs作为一个新的Datda...

Hive优化 本人太懒，好不容易画了个图表达，但是摘要需要50个字，就凑一凑，就凑一凑，就凑一凑，凑够了～...

背景 在项目开发中，遇到如下场景：将数据按照业务逻辑分组，接下来的所有计算以组为单位；当第一条数据传入时，以当前数据的时间对应天的结束时间为定时触发时间，做定时。下一次的定...

Spark[四]——Spark并行度         Spark并行度指在Spark作业中，各个Stage中task的数量，也就代表了Spark作业在各个阶段的并行度。 合...

Spark[三]——Spark对内存的管理[On-Heap Memory、Off-Heap Memory、Storage、Execution、Other]         ...

Spark[二]——Spark的组件们[Application、Job、Stage、TaskSet、Task] 一、Application         就是用户编写的S...

Spark[一]——Spark的进程们[Driver、Master、Worker、Executor] 一、背景知识 1.进程         进程是一个具有一定独立功能的程...

Spark TroubleShooting——【笔记三】 [课程链接]——https://www.bilibili.com/video/av54322051?p=50 一、...

Spark数据倾斜——【笔记二】 [课程链接]——https://www.bilibili.com/video/av54322051?p=50 一、问题描述     Spa...

Spark性能调优——【笔记一】 [课程链接]——https://www.bilibili.com/video/av54322051?p=50 一、常见性能调优 1.最优资...