本文已参与「新人创作礼」活动,一起开启掘金创作之路。
Flume的安装
Flume的安装
1. 安装Flume
# useradd flume
# wget mirrors.hust.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz
# tar zxf apache-flume-1.8.0-bin.tar.gz -C /home/flume/
# ln -s /home/flume/apache-flume-1.8.0-bin /home/flume/flume
2. 配置环境变量
# vim /etc/profile
#添加Flume java path到profile
####flume java path####
export JAVA_HOME=/usr/java/jdk
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export FLUME_HOME=/home/flume/flume
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$FLUME_HOME/bin:$PATH
# source /etc/profile
# java -version
openjdk version "1.8.0_191"
OpenJDK Runtime Environment (build 1.8.0_191-b12)
OpenJDK 64-Bit Server VM (build 25.191-b12, mixed mode)
#查看Flume的版本
# flume-ng version
Flume 1.5.2.2.6.5.0-292
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: 2f89159520e7c477abd961d4e8b3b9e50597f1c9
Compiled by jenkins on Fri May 11 07:52:15 UTC 2018
From source with checksum b50e3a2d9ed95bb61cd587feaa12b813
3. 修改flume-env.sh的JAVA_HOME
# export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export JAVA_HOME=/usr/java/jdk
4. Flume-ng的命令行参数
| commands | 说明 | |
|---|---|---|
| help | 帮助显示这个帮助文本 | \ |
| agent | 代理运行Flume代理 | \ |
| avro-client | 运行一个avro Flume客户端 | \ |
| version | 版本显示Flume版本信息 | \ |
| 全局 options: | 说明 | \ |
| --conf,-c | 使用目录中的配置 | \ |
| --classpath,-C | 附加类路径 | \ |
| --dryrun,-d | 实际上不启动Flume,只是打印命令 | \ |
| --plugins-path | 以冒号分隔的plugins.d目录列表。请参阅用户指南中的plugins.d部分以获取更多详细信息。默认:$FLUME_HOME/plugins.d | \ |
| -Dproperty=value | 设置Java系统属性值 | \ |
| -Xproperty=value | 设置一个Java -X选项 | \ |
| agent options: | 说明 | \ |
| --name,-n | 这个agent的名字(必填) | \ |
| --conf-file,-f | 指定一个配置文件(如果缺少-z则需要) | \ |
| --zkConnString,-z | 指定要使用的ZooKeeper连接(如果缺少-f,则需要) | \ |
| --zkBasePath,-p | 在ZooKeeper中为代理配置指定基本路径 | \ |
| --no-reload-conf | 如果更改,不要重新加载配置文件 | \ |
| --help,-h | 显示帮助文本 | \ |
| avro-client options: | 说明 | \ |
| --rpcProps,-P | 带有服务器连接参数的RPC客户端属性文件 | \ |
| --host,-H | 将要发送events(事件)的主机名 | \ |
| --port,-p | avro源的端口 | \ |
| --dirname | 流到avro源流到的目标目录 | \ |
| --filename,-F | 文本文件流到avro源(默认:标准输入) | \ |
| --headerFile,-R | 包含事件标题作为每个新行上的键/值对的文件 | \ |
| --help,-h | 显示帮助文本 |
==注意 #ec1d0e==:
- 如果指定了目录,则==始终将其包含在类路径==中。 - --rpcProps或者--host和--port都必须指定。