druid原理第三篇 index服务原理
Druid的批处理流程如下：
- 向Druid中提交批数据处理请求。Druid中的批处理任务会从HDFS中获取原数据。
- 批任务会根据处理请求生成segment，并将生成的segments存到Deep Storage（HDFS）中。
- 将生成的segment的元数据信息保存到元数据存储DB（如MySQL）
- Coordinator会定时从元数据存储DB中查新生成的segment信息。
- Coordinator将这些segment的信息写入Zookeeper的loadqueue中。
- Historical节点监听ZooKeeper中的loadqueue，并从loadqueue中获取其需要加载的segment信息。
- Historical节点从Deep Storage下载所需要的segment到本地磁盘。
- 加载完成后，Historical将下载的这些segment注册到ZooKeeper中。
- 客户端查询时，首先将请求发送到Broker，然后Broker首先从缓存中查找是否有需要的数据。
- 如果没有，Broker会从ZooKeeper中获取segment信息。
- 将查询请求发送至相关Historical节点，Historical节点进行计算后，将各自的部分查询结果返回给Broker。
- Broker聚合后将结果返回给客户端。
加入到taskQueue队列中的任务按照FIFO顺序由io.druid.indexing.overlord.TaskRunner执行（除非下一个任务没有准备好，则跳过）。其中TaskRunner接口有三种实现方式：
io.druid.indexing.overlord.ForkingTaskRunner io.druid.indexing.overlord.RemoteTaskRunner io.druid.indexing.overlord.ThreadPoolTaskRunner
- ForkingTaskRunner为使用“internal peon”方式的时候执行任务的形式，在独立的进程中执行任务。
- RemoteTaskRunner在工作节点上执行任务，使用Zookeeper来管理和分配任务，使用HTTP来进行IPC通信。
- ThreadPoolTaskRunner则是通过线程池执行，使用ExecutorService在一个JVM线程中执行任务。
任务执行后，返回ListenableFuture。通过：
taskStorage.getStatus(indexTask.getId()).get()
获取任务的状态，其中taskStorage是io.druid.indexing.overlord.TaskStorage一个实例，用于保存任务的状态。
