胖子爱吃鱼

Flume的定义 Flume是一个分布式的、高可靠的、高可用的将大批量的不同数据源的日志数据收集、聚合、移动到数据中心（HDFS）进行存储的系统。即是日志采集和汇总的工具。 Flume的优势可以高速采

第一步：安装LZO库。（hadoop用户在home目录下新建的文件夹LZO，以下所有的安装均在这个目录下）安装lzo：wgethttp://www.oberhumer.com/opensource/l

1：安装Hadoop集群配置注意事项配置hosts的时候注意主机名，不能使用带下划线的主机名。例如：worker_01，不能这样配置，要用worker01。配置worker_01，Hadoop集群会解

注意事项1、安装ZooKeeper配置注意事项1、新建data文件夹，注意这个文件夹的权限。2、新建文件myid,注意这个文件的权限。3、要分别向myid写入1,2,3。2、修改了hosts主机名后，

1：添加hadoop用户新增一个用户hadoop,以后就用hadoop这个用户对Hadoop进行管理。新增hadoop用户：adduserhadoop。为hadoop用户添加管理员权限：赋值root权

YARN主要架构ResourceManager集群资源的协调者和管理者，负责给用户提交的所有程序分配资源。NodeManager集群具体资源的管理者，负责节点内所有容器的生命周期的管理，资源监控。具体

理解MapReduceMapping:对集合里的每个目标应用同一个操作。Reducing：遍历集合中的元素来返回一个综合的结果。计算模型在运行一个MapReduce计算任务时候，任务过程被分为两个阶段