墨尘r

最近在做一个需求，需求本身并不复杂只是需要添加字段，但是自己大意触发了Hive动态分区异常报错，这里记录一下过程。...

上一节我们介绍了fetchAndRunExecutor方法中执行命令启动CoarseGrainedSchedulerBackend，这一节就从前往后梳理一遍其是怎么创建的全...

上一节我们介绍到worker在启动executor的时候创建了ExecutorRunner，接下来我们来看一下ExecutorRunner是怎么启动进程执行具体的任务的。...

上一节介绍了master如何处理driver提交的应用程序，找到满足条件的worker之后给worker发消息，进而启动executor，这一节我们来继续看一下worker...

上一节介绍了单例模式下driver提交应用的过程，这一节我们来具体看一下master怎么后续进行资源调度和启动executor来执行任务。...

了解完Spark中基本的通信原理之后，接下来我们来一起通过应用提交处理流程来一起看一下端点之间是怎么通信的，看一下应用是怎么提交的。...

上一节介绍了消息发件箱Outbox，这一节介绍NettyRpcEnv，NettyRpcEnv囊括了之前介绍的所有，是RpcEnv的netty实现。...

上一节介绍了Inbox收件箱，这一节来进一步阅读Outbox发件箱的源码，先定义不同类型的消息，包括单向消息和需要回复的rpc消息，最后介绍Outbox如何管理需要发送的消...

这一节介绍消息循环中每个节点Inbox收件箱，每个Inbox对应一个RpcEndpoint，Inbox如何将消息传递给RpcEndpoint呢？我们一起从源码中寻找答案。...

上一节介绍了Dispatcher消息分发器的源码，里面有一个sharedLoop是共享消息循环，主要是负责保存多个RpcEndpoint端点的消息，这一节就来结合源码看一下...

这一节主要是介绍Dispatcher消息分发器，当RpcEnv不管是收到外部的消息分发还是内部RpcEndpoint之间消息发送都需要经由Dispatcher处理。...

本节主要是看RpcEnv、RpcEndpoint和RpcEndpointRef，其中RpcEnv和RpcEndpointRef的源码。...

最近在阅读《图解Spark核心技术与案例实战》第4章Spark核心原理，4.1消息通信原理，梳理一下架构原理及其实现方式。...

今天跟老大讨论问题的时候看到他在Elasticsearch页面查询数据的时候按照时间自动格式化并且自动排序，学习记录一下。...

今天任务在将数据写入Elasticsearch的时候出现了异常，定位问题花了很久，这里记录一下解决过程。...

最近在工作中需要在Hive表使用between and 来查询区间值，这里记录一下，使用该函数的时候是包含边界值的。...

最近在工作遇到一个timestamp字段显示的问题，这里记录一下。Hive因为版本问题存在诸多bug。...

最近做的一个项目涉及到从Akamai海外接口获取数据并进行解析，这里记录一下请求的两种方式，根据不同情况使用不同的方式。...

偶然了解到sum和case when 组合起来可以统计做一些占比查询，记录一下。每天积累一些SQL小技巧。...

工作中经常遇到需要对某个字符串进行切割提取出需要的部分，在Hive中能达到效果，但是在Spark SQL中却不行，尤其是针对转义字符。通常需要加反义字符才能解决。...