Flume
- Apache Flume是一个分布式、可靠、可用的系统，用于从大量不同的源有效地收集、聚合、移动大量日志数据进行集中式数据存储。
下载
前往官网 flume.apache.org/ 下载对应的二进制包即可
上传到Linux服务器 解压
使用以下命令即可解压
tar -zxvf apache-flume-1.9.0-bin.tar.gz
####修改配置文件
- 修改conf目录下面的flume-env.sh文件
- 因为它只有flume-env.sh.template文件，所以使用下面命令先拷贝一份
cp flume-env.sh.template flume-env.sh
- 然后进入文件找到JAVA_HOME，把当前环境的java根目录路径写入 ####这里测试一个 在conf下面创建
vim netcat-test.conf
内容为： 分别为 数据源 通道缓存和存储地点的配置
test.sources = source1
test.sinks = sink1
test.channels = channel1
test.sources.source1.type = netcat
test.sources.source1.bind = localhost
test.sources.source1.port = 60000
test.sinks.sink1.type = logger
test.channels.channel1.type = memory
test.channels.channel1.capacity = 1000
test.channels.channel1.transactionCapacity = 100
test.sources.source1.channels = channel1
test.sinks.sink1.channel = channel1
然后在flume主目录下运行：
bin/flume-ng agent --conf conf/ conf-file --conf/netcat-test.conf --name test -Dflume.root.logger=INFO.console
这时候cmd进入阻塞状态，打开新的窗口 输入：
telnet localhost 60000
然后在接下来的地方输入hello
就可以在原来窗口显示hello
这里表示完成~
