flume环境配置及使用demo案例

27 阅读1分钟
1.安装
1Flume 官网地址:http://flume.apache.org/2)文档查看地址:http://flume.apache.org/FlumeUserGuide.html3)下载地址:http://archive.apache.org/dist/flume/ 

安装部署 
(1)将 apache-flume-1.9.0-bin.tar.gz 上传到 linux 的/opt/software 目录下 
(2)解压 apache-flume-1.9.0-bin.tar.gz 到/opt/module/目录下 
(3)将 lib 文件夹下的 guava-11.0.2.jar 删除以兼容 Hadoop 3.1.3 
[atguigu@hadoop102 lib]$ rm /opt/module/flume/lib/guava11.0.2.jar
2.参数说明

第一种写法

bin/flume-ng agent --conf conf/ --name a1 --conf-file job/flume-netcat-logger.conf - Dflume.root.logger=INFO,console 

第二种写法

bin/flume-ng agent -c conf/ -n a1 -f job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console

参数说明

--conf/-c:表示配置文件存储在 conf/目录 
--name/-n:表示给 agent 起名为 a1 
--conf-file/-f:flume 本次启动读取的配置文件是在 job 文件夹下的 flume-telnet.conf 文件。 
-Dflume.root.logger=INFO,console :
-D 表示 flume 运行时动态修改 flume.root.logger 参数属性值,并将控制台日志打印级别设置为 INFO 级别。日志级别包括:log、info、warn、 error。
3.demo用例
https://gitee.com/arhi/cs-spring/tree/feature/snow/springboot/springboot-ai-coding/flume-demo