获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
7
赞
7
返回
|
搜索文章
最新 热门
  • Hive 动态分区异常org.apache.hadoop.hive.ql.metadata.HiveException
    最近在做一个需求，需求本身并不复杂只是需要添加字段，但是自己大意触发了Hive动态分区异常报错，这里记录一下过程。
    • 1年前
    • 1.3k
    • 评论
    Apache Hive
  • Spark源码阅读篇-rpc通信-CoarseGrainedSchedulerBackend创建过程
    上一节我们介绍了fetchAndRunExecutor方法中执行命令启动CoarseGrainedSchedulerBackend，这一节就从前往后梳理一遍其是怎么创建的全过程。
    • 1年前
    • 180
    • 评论
    大数据 Spark
  • Spark源码阅读篇-rpc通信-ExecutorRunner
    上一节我们介绍到worker在启动executor的时候创建了ExecutorRunner，接下来我们来看一下ExecutorRunner是怎么启动进程执行具体的任务的。
    • 1年前
    • 245
    • 评论
    大数据 Spark
  • Spark源码阅读篇-Rpc通信-Worker
    上一节介绍了master如何处理driver提交的应用程序，找到满足条件的worker之后给worker发消息，进而启动executor，这一节我们来继续看一下worker怎么处理。
    • 2年前
    • 98
    • 评论
    Spark 大数据
  • Spark源码阅读篇-Rpc通信-Master
    上一节介绍了单例模式下driver提交应用的过程，这一节我们来具体看一下master怎么后续进行资源调度和启动executor来执行任务。
    • 2年前
    • 135
    • 评论
    Spark 大数据
  • Spark源码阅读篇-Rpc通信-StandaloneAppClient应用提交
    了解完Spark中基本的通信原理之后，接下来我们来一起通过应用提交处理流程来一起看一下端点之间是怎么通信的，看一下应用是怎么提交的。
    • 2年前
    • 119
    • 评论
    Spark 大数据
  • Spark源码阅读篇-Rpc通信-NettyRpcEnv
    上一节介绍了消息发件箱Outbox，这一节介绍NettyRpcEnv，NettyRpcEnv囊括了之前介绍的所有，是RpcEnv的netty实现。
    • 2年前
    • 128
    • 评论
    大数据 Spark
  • Spark源码阅读篇-Rpc通信-Outbox发件箱
    上一节介绍了Inbox收件箱，这一节来进一步阅读Outbox发件箱的源码，先定义不同类型的消息，包括单向消息和需要回复的rpc消息，最后介绍Outbox如何管理需要发送的消息以及具体发送。
    • 2年前
    • 73
    • 评论
    大数据 Spark
  • Spark源码阅读篇-Rpc通信-Inbox收件箱
    这一节介绍消息循环中每个节点Inbox收件箱，每个Inbox对应一个RpcEndpoint，Inbox如何将消息传递给RpcEndpoint呢？我们一起从源码中寻找答案。
    • 2年前
    • 76
    • 评论
    大数据 Spark
  • Spark源码阅读篇-Rpc通信-MessageLoop消息循环
    上一节介绍了Dispatcher消息分发器的源码，里面有一个sharedLoop是共享消息循环，主要是负责保存多个RpcEndpoint端点的消息，这一节就来结合源码看一下消息循环是怎么保存消息并处理
    • 2年前
    • 136
    • 评论
    大数据 Spark
    • 下一页
    个人成就
    文章被点赞 7
    文章被阅读 11,841
    掘力值 376
    收藏集
    0
    关注标签
    9
    加入于