1. 参考网址
尚硅谷大数据Azkaban 3.x教程(全新发布)_哔哩哔哩_bilibili
2. 安装包
提取码:zsxa
3. 安装前环境说明
首先准备一台linux服务器,我这里服务器版本是centos7。
Azkaban安装方式为单机版,而非集群版。
Azkaban服务器环境
服务器IP地址serverIP:(X.X.X.X)
WebServer端口:8081(默认配置)
executor端口:12321
Mysql服务器环境
服务器IP地址serverIP:(X.X.X.X)
Mysql账户密码: root/123456
Mysql端口: 3306
4. 安装步骤
4.1 准备文件
1.在/opt目录下创建azkaban3.84.4文件夹
mkdir -p azkaban3.84.4
2.使用Xftp/Filezlia将资料中的文件同步至azkaban3.84.4文件目录下
3.解压三个文件
tar -zxvf azkaban-db-3.84.4.tar.gz
tar -zxvf azkaban-web-server-3.84.4.tar.gz
tar -zxvf azkaban-exec-server-3.84.4.tar.gz
4.2 Mysql数据库初始化
1.连接数据库,创建azkaban数据库,并切换至该数据库
mysql -uroot -p123456
create database azkaban;
use azkaban;
2.加载azkaban-db-3.84.4中的create-all-sql-3.84.4.sql
source /opt/azkaban3.84.4/azkaban-db-3.84.4/create-all-sql-3.84.4.sql;
上述步骤也可以使用Navicat连接 创建数据库以及导入sql结构
4.3 Azkaban ExecutorServer部署
修改azkaban.properties
cd /opt/azkaban3.84.4/azkaban-exec-server-3.84.4
vim conf/azkaban.properties
具体修改信息如下:
#...
# 修改默认时区
default.timezone.id=Asia/Shanghai
#...
# 修改webServer端口 默认为8081
azkaban.webserver.url=http://localhost:8081
# 修改executor端口为12321
executor.port=12321
#...
# 数据库配置
mysql.port=3006
mysql.host=你的数据库IP地址
mysql.database=azkaban
mysql.user=root
mysql.password=123456
启动executor
bin/start-exec.sh
ll
出现executor.port代表启动成功
激活executor
curl -G "http://localhost:12321/executor?action=activate" && echo
出现{"status":"success"}代表激活成功
4.4 Azkaban webServer部署
修改azkaban.properties
cd /opt/azkaban3.84.4/azkaban-web-server-3.84.4
vim conf/azkaban.properties
具体修改信息
#...
# 默认时区
default.timezone.id=Asia/Shanghai
#...
# webServer启动端口
azkaban.webserver.url=http://localhost:8081
#...
# 数据库连接
mysql.port=3306
mysql.host=你的数据库IP地址
mysql.database=azkaban
mysql.user=root
mysql.password=123456
#...
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus参数说明
StaticRemainingFlowSize正在排队的任务数
CpuStatus:Cpu占用情况
MinimumFreeMemory:内存占用情况,需要删除,否则他会认为集群资源不够,不执行azkaban任务 默认为6G
修改azkaban-users.xml增加admin用户账号密码为admin admin
vim conf/azkaban-users.xml
内容为
<user password="admin" roles="admin" username="admin"/>
启动webServer
bin/start-web.sh
访问http://ip:port 测试 ,使用admin/admin登录,登录成功则安装部署成功