Flume官网分享之三

148 阅读1分钟

本文已参与「新人创作礼」活动,一起开启掘金创作之路。

Flume的安装

Flume的安装

 1. 安装Flume

# useradd flume

# wget mirrors.hust.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz
# tar zxf apache-flume-1.8.0-bin.tar.gz -C /home/flume/
# ln -s /home/flume/apache-flume-1.8.0-bin /home/flume/flume

 2. 配置环境变量

# vim /etc/profile

#添加Flume java path到profile

####flume java path####
export JAVA_HOME=/usr/java/jdk
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export FLUME_HOME=/home/flume/flume
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$FLUME_HOME/bin:$PATH

# source /etc/profile
# java -version

openjdk version "1.8.0_191"
OpenJDK Runtime Environment (build 1.8.0_191-b12)
OpenJDK 64-Bit Server VM (build 25.191-b12, mixed mode)

#查看Flume的版本

# flume-ng version


Flume 1.5.2.2.6.5.0-292
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: 2f89159520e7c477abd961d4e8b3b9e50597f1c9
Compiled by jenkins on Fri May 11 07:52:15 UTC 2018
From source with checksum b50e3a2d9ed95bb61cd587feaa12b813


 3. 修改flume-env.sh的JAVA_HOME


# export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export JAVA_HOME=/usr/java/jdk

 4. Flume-ng的命令行参数

commands说明
   help    帮助显示这个帮助文本\
   agent  代理运行Flume代理\
   avro-client  运行一个avro Flume客户端\
   version    版本显示Flume版本信息\
全局 options:说明\
   --conf,-c      使用目录中的配置\
   --classpath,-C  附加类路径\
   --dryrun,-d          实际上不启动Flume,只是打印命令\
   --plugins-path  以冒号分隔的plugins.d目录列表。请参阅用户指南中的plugins.d部分以获取更多详细信息。默认:$FLUME_HOME/plugins.d\
   -Dproperty=value      设置Java系统属性值\
   -Xproperty=value      设置一个Java -X选项\
agent options:说明\
   --name,-n    这个agent的名字(必填)\
   --conf-file,-f  指定一个配置文件(如果缺少-z则需要)\
   --zkConnString,-z  指定要使用的ZooKeeper连接(如果缺少-f,则需要)\
   --zkBasePath,-p  在ZooKeeper中为代理配置指定基本路径\
   --no-reload-conf    如果更改,不要重新加载配置文件\
   --help,-h    显示帮助文本\
avro-client options:说明\
   --rpcProps,-P  带有服务器连接参数的RPC客户端属性文件\
   --host,-H      将要发送events(事件)的主机名\
   --port,-p      avro源的端口\
   --dirname        流到avro源流到的目标目录\
   --filename,-F  文本文件流到avro源(默认:标准输入)\
   --headerFile,-R  包含事件标题作为每个新行上的键/值对的文件\
   --help,-h    显示帮助文本

==注意 #ec1d0e==:

 - 如果指定了目录,则==始终将其包含在类路径==中。  - --rpcProps或者--host和--port都必须指定。