Flume配置大全涵盖相关大多数Flume的相关配置

管理随笔-37 评论-6 文章-0 随笔分类 - Hadoop Hadoop Hadoop实战-Flume之自定义Sink(十九) 摘要: import java.io.File; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException; import org.apache.flume.Channel; import org.apache.flume.Context; import org.a...阅读全文 posted @ 2017-05-16 22:56 简单明了阅读(212) | 评论 (0) 编辑 Hadoop实战-Flume之自定义Source(十八) 摘要: import java.nio.charset.Charset; import java.util.HashMap; import java.util.Random; import org.apache.flume.Context; import org.apache.flume.EventDeliveryException; import org.apache.flume.PollableS...阅读全文 posted @ 2017-05-16 22:55 简单明了阅读(75) | 评论 (0) 编辑 Hadoop实战-Flume之Sink Load-balancing(十七) 摘要: a1.sources = r1 a1.sinks = k1 k2 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 # Describe the sink a1.sinks....阅读全文 posted @ 2017-05-16 22:53 简单明了阅读(58) | 评论 (0) 编辑 Hadoop实战-Flume之Sink Failover(十六) 摘要: a1.sources = r1 a1.sinks = k1 k2 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 # Describe the sink a1.sinks....阅读全文 posted @ 2017-05-16 22:52 简单明了阅读(57) | 评论 (0) 编辑 Hadoop实战-Flume之Source multiplexing(十五) 摘要: a1.sources = r1 a1.sinks = k1 k2 a1.channels = c1 c2 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 # Describe the sink a1.sin...阅读全文 posted @ 2017-05-16 22:50 简单明了阅读(70) | 评论 (0) 编辑 Hadoop实战-Flume之Source replicating(十四) 摘要: a1.sources = r1 a1.sinks = k1 k2 a1.channels = c1 c2 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 # Describe the sink a1.sin...阅读全文 posted @ 2017-05-16 22:46 简单明了阅读(50) | 评论 (0) 编辑 Hadoop实战-Flume之Source regex_filter(十三) 摘要: a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 a1.sources.r1.interceptors =i5 #a...阅读全文 posted @ 2017-05-16 22:44 简单明了阅读(566) | 评论 (0) 编辑 Hadoop实战-Flume之Source regex_extractor(十二) 摘要: a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 a1.sources.r1.interceptors = i1 i...阅读全文 posted @ 2017-05-16 22:43 简单明了阅读(580) | 评论 (0) 编辑 Hadoop实战-Flume之Source interceptor(十一)（2017-05-16 22:40）摘要: a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 a1.sources.r1.interceptors = i1 i...阅读全文 posted @ 2017-05-16 22:42 简单明了阅读(39) | 评论 (0) 编辑 Hadoop实战-Flume之Hdfs Sink(十) 摘要: a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 # Describe the sink #a1.sinks.k1...阅读全文 posted @ 2017-05-16 22:40 简单明了阅读(45) | 评论 (0) 编辑 Hadoop实战-Flume之Hello world(九) 摘要: 环境介绍：主服务器ip：192.168.80.128 1、准备apache-flume-1.7.0-bin.tar文件 2、上传到master(192.168.80.128)服务器上 3、解压apache-flume-1.7.0-bin.tar 4、进入到Flume的配置文件目录 5、修改apac阅读全文 posted @ 2017-05-16 22:36 简单明了阅读(73) | 评论 (0) 编辑 Hadoop实战-MapReduce之倒排索引(八) 摘要: 倒排索引 (就是key和Value对调的显示结果) 一、需求：下面是用户播放音乐记录，统计歌曲被哪些用户播放过 tom LittleApple jack YesterdayOnceMore Rose MyHeartWillGoOn jack LittleApple John MyHeartWillG阅读全文 posted @ 2017-05-07 23:51 简单明了阅读(1363) | 评论 (1) 编辑 Hadoop实战-MapReduce之分组(group-by)统计(七) 摘要: 1、数据准备使用MapReduce计算age.txt中年龄最大、最小、均值name,min,max,countMike,35,20,1Mike,5,15,2Mike,20,13,1Steven,40,20,10Ken,28,68,1Ken,14,198,10Cindy,32,31,100 2、预期阅读全文 posted @ 2017-05-07 23:34 简单明了阅读(296) | 评论 (0) 编辑 Hadoop实战-MapReduce之max、min、avg统计(六) 摘要: 1、数据准备： Mike,35 Steven,40 Ken,28 Cindy,32 2、预期结果 Max 40 Min 28 Avg 33 3、MapReduce代码如下 4、注意事项因为输出的结果和Key没有关系，所以在map阶段要固定一个Key即可。阅读全文 posted @ 2017-05-07 23:24 简单明了阅读(186) | 评论 (0) 编辑 Hadoop实战-MapReduce之WordCount(五) 摘要: 环境介绍：主服务器ip：192.168.80.128(master) NameNode SecondaryNameNode ResourceManager 从服务器ip：192.168.80.129(slave1) DataNode NodeManager 从服务器ip: 192.168.80.1阅读全文 posted @ 2017-05-07 23:18 简单明了阅读(104) | 评论 (0) 编辑 Hadoop实战-使用Eclipse开发Hadoop API程序(四) 摘要: 一、准备运行所需Jar包 1）avro-1.7.4.jar 2）commons-cli-1.2.jar 3）commons-codec-1.4.jar 4）commons-collections-3.2.1.jar 5）commons-compress-1.4.1.jar 6）commons-con 阅读全文 posted @ 2017-04-23 22:36 简单明了阅读(97) | 评论 (0) 编辑 Hadoop集群搭建-Hadoop2.8.0安装(三) 摘要: 一、准备安装介质 a)、hadoop-2.8.0.tar b)、jdk-7u71-linux-x64.tar 二、节点部署图三、安装步骤环境介绍：主服务器ip：192.168.80.128(master) NameNode SecondaryNameNode ResourceManager 从阅读全文 posted @ 2017-04-23 21:57 简单明了阅读(860) | 评论 (0) 编辑 Hadoop集群搭建-虚拟机安装(转)(一) 摘要: 1、软件准备 a)、操作系统：CentOS-7-x86_64-DVD-1503-01 b)、虚拟机：VMware-workstation-full-9.0.2-1031769（英文原版先安装） VMware Workstation 9.0.2.1031769(汉化包后安装) c)、xftp4、XSh阅读全文 posted @ 2017-04-23 21:22 简单明了阅读(86) | 评论 (0) 编辑集群环境搭建-SSH免密码登陆(二) 摘要: 1、打开sshd配置命令: vi /etc/ssh/sshd_config 找到以下内容，并去掉注释符”#“ RSAAuthentication yes PubkeyAuthentication yes AuthorizedKeysFile .ssh/authorized_keys 2、如果修改了阅读全文 posted @ 2017-04-23 21:10 简单明了阅读(90) | 评论 (0) 编辑

昵称：简单明了
园龄：4年10个月
粉丝：31
关注： 10 +加关注

2019年8月

日

一

二

三

四

五

六

Flume配置大全

搜索

常用链接

我的标签

随笔分类

随笔档案

最新评论

阅读排行榜

评论排行榜

推荐排行榜