Azkaban3.84.4安装部署文档

1,199 阅读2分钟

1. 参考网址

尚硅谷大数据Azkaban 3.x教程(全新发布)_哔哩哔哩_bilibili

2. 安装包

链接:pan.baidu.com/s/10zD2Y_h0… 

提取码:zsxa

3. 安装前环境说明

首先准备一台linux服务器,我这里服务器版本是centos7。

Azkaban安装方式为单机版,而非集群版。

Azkaban服务器环境

服务器IP地址serverIP:(X.X.X.X)

WebServer端口:8081(默认配置)

executor端口:12321

Mysql服务器环境

服务器IP地址serverIP:(X.X.X.X)

Mysql账户密码: root/123456

Mysql端口: 3306

4. 安装步骤

4.1 准备文件

1.在/opt目录下创建azkaban3.84.4文件夹

mkdir -p azkaban3.84.4

2.使用Xftp/Filezlia将资料中的文件同步至azkaban3.84.4文件目录下

3.解压三个文件

tar -zxvf azkaban-db-3.84.4.tar.gz 

tar -zxvf azkaban-web-server-3.84.4.tar.gz

tar -zxvf azkaban-exec-server-3.84.4.tar.gz

4.2 Mysql数据库初始化

1.连接数据库,创建azkaban数据库,并切换至该数据库

mysql -uroot -p123456

create database azkaban;

use azkaban;

2.加载azkaban-db-3.84.4中的create-all-sql-3.84.4.sql

source /opt/azkaban3.84.4/azkaban-db-3.84.4/create-all-sql-3.84.4.sql;

上述步骤也可以使用Navicat连接 创建数据库以及导入sql结构

4.3 Azkaban ExecutorServer部署

修改azkaban.properties

cd /opt/azkaban3.84.4/azkaban-exec-server-3.84.4

vim conf/azkaban.properties

具体修改信息如下:

#...
# 修改默认时区
default.timezone.id=Asia/Shanghai

#...
# 修改webServer端口 默认为8081
azkaban.webserver.url=http://localhost:8081

# 修改executor端口为12321
executor.port=12321

#...
# 数据库配置
mysql.port=3006

mysql.host=你的数据库IP地址

mysql.database=azkaban

mysql.user=root

mysql.password=123456

启动executor

bin/start-exec.sh

ll

出现executor.port代表启动成功

激活executor

curl -G "http://localhost:12321/executor?action=activate" && echo

出现{"status":"success"}代表激活成功

4.4 Azkaban webServer部署

修改azkaban.properties

cd /opt/azkaban3.84.4/azkaban-web-server-3.84.4

vim conf/azkaban.properties

具体修改信息

#...
# 默认时区
default.timezone.id=Asia/Shanghai

#...

# webServer启动端口
azkaban.webserver.url=http://localhost:8081

#...
# 数据库连接
mysql.port=3306

mysql.host=你的数据库IP地址

mysql.database=azkaban

mysql.user=root

mysql.password=123456

#...

azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus

azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus参数说明

StaticRemainingFlowSize正在排队的任务数

CpuStatus:Cpu占用情况

MinimumFreeMemory:内存占用情况,需要删除,否则他会认为集群资源不够,不执行azkaban任务  默认为6G

修改azkaban-users.xml增加admin用户账号密码为admin admin

vim conf/azkaban-users.xml

内容为

<user password="admin" roles="admin" username="admin"/>

启动webServer

bin/start-web.sh 

访问http://ip:port 测试 ,使用admin/admin登录,登录成功则安装部署成功