这是我参与「第四届青训营 」笔记创作活动的第 16 天
Flume定义
Flume 是由cloudera软件公司产出的可分布式日志收集系统，于2009年被捐赠给apache软件基金会，为hadoop相关组件之一。尤其近几年随着Flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apache top项目之一.
Flume 是一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统，它基于流式架构，灵活简单，可以实时读取服务器本地磁盘的数据并将数据写入到 HDFS 中。
Flame基本架构
Flame组成架构如下图所示
（1）Agent
Agent 是一个JVM进程，它以事件的形式将数据从源头送至目的地。
Agent 主要由3个部分组成，Source、Channel、Sink。
（2）Source
Source是负责接收数据到 Flume Agent 的组件，Source组件可以处理各种类型、各种格式的日志数据。
Source 从 Client 收集数据，然后传递给 Channel。不同的 source，可以接受不同的数据格式，比如监视外部源--目录池(spooling directory)数据源，可以监控指定文件夹中的新文件变化，如果目录中有文件产生，就会立刻读取其内容。 source 组件可以处理各种格式的日志数据，eg:avro Sources、thrift Sources、exec、jms、spooling directory、netcat、sequence generator、syslog、htp、legacy、自定义。
（3）Sink
Sink 不断地轮询 Channel 中的事件且批量地移除它们，并将这些事件批量写入到存储或索引系统或者被发送到另一个Flume Agent。
（4）Channel
Channel 是位于 Source 和 Sink 之间的缓冲区。因此，Channel 允许 Source 和 Sink 运作在不同的速率上，Channel 是线程安全的，可以同时处理几个 Source 的写入操作和几个 Sink 的读取操作。
Flume自带两种 Channel：Memory Channel 和 File Channel。
Memory Channel 是内存中的队列，Memory Channel在不需要关心数据丢失的情景下适用。如果需要关心数据丢失，那么Memory Channel就不应该使用，因为程序死亡、机器宕机或者重启都会导致数据丢失。
File Channel 将所有事件写到磁盘，因此在程序关闭或机器宕机的情况下不会丢失数据。
（5）Event
传输单元，Flume数据传输的基本单元，以Event的形式将数据从源头送至目的地。Event由 Header 和 Body 两部分组成，Header用来存放该event的一些属性，为K-V结构，Body用来存放该条数据，形式为字节数组。
Flume特性
Flume 支持在日志系统中定制各类数据发送方，用于收集数据；同时支持对数据进行简单处理，并写入到各种数据接受方(比如文本、HDFS、Hbase等) 。
Flume 的数据流由 事件(Event) 贯穿始终，事件是 Flume 的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息。这些 Event 由 Agent 外部的 Source 生成，当 Source 捕获事件后会进行特定的格式化，然后 Source 会把事件推入单个或多个Channel 中。我们可以把 Channel 看作是一个缓冲区，它将保存事件直到 Sink 处理完该事件。
Sink 负责持久化日志或者把事件推向另一个 Source。多Agent并联下的架构图如下所示。
