联网机器下载安装包,然后上传到内网服务器进行安装。
源码编译安装Python、安装Docker、Docker-compose
通过pip打包Datahub安装包并安装
打包docker镜像并安装,最后离线启动
由于服务器系统差异、部分软件版本过时安装过程中会报一些缺少依赖错误,根据错误信息提示进行安装相关依赖包。
安装DataHub(0.10.5.5) 需要Python3.7+、openssl≥1.1.1、Docker、Docker-compose。
安装Python依赖
安装前需要有gcc、zlib、bzip 等相关依赖,缺少依赖可以用repotrack命令下载rpm 命令进行安装
repotrack gcc
rpm -Uvh ./*rpm --nodeps --force
升级OpenSSL
如果版本低了需要进行升级，下载openssl安装包并解压,进入解压目录通过config文件生成Makefile文件并指定安装目录
tar -zxvf openssl-1.1.1.tar.gz
./config --prefix=/usr/local/lib/openssl-1.1.1
make && make install
对软连接进行更新
ln -s /usr/local/lib/openssl-1.1.1/lib/libssl.so.1.1 /usr/lib64/libssl.so.1.1
ln -s /usr/local/lib/openssl-1.1.1/lib/libcrypto.so.1.1 /usr/lib64/libcrypto.so.1.1
ln -s /usr/local/lib/openssl-1.1.1/bin/openssl usr/bin/openssl
检查openssl 版本
openssl version
安装Python
官方下载源码包,解压进入目录执行configure脚本
tar -zxvf Python-3.8.3.tgz
./configure --prefix=/usr/python3 --with-openssl=/usr/local/lib/openssl-1.1.1
make&&make install
进入安装目录 查看python软连接,新增python3
cd /usr/bin/
ln -s /usr/python3/bin/python3 python3
ll python*
检查Python 版本
python3 -V
添加pip软连接
ln -s /usr/python3/bin/pip3 pip3
ln -s pip3 pip
pip -V
安装Docker、Docker-compose
安装Docker
下载好docker安装包并解压docker-20.10.0.tgz到 /usr/bin 目录
tar –zxvf docker-20.10.0.tgz
cp docker/* /usr/bin
配置docker服务
vim /etc/systemd/system/docker.service
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target
[Service]
Type=notify
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
[Install]
WantedBy=multi-user.target
赋予执行权限
chmod +x /etc/systemd/system/docker.service
systemctl daemon-reload
systemctl start docker
docker --version
安装Docker-compose
下载好docker-compose文件 直接上传到 /usr/local/bin目录下
chmod +x /usr/local/bin/docker-compose
docker-compose --version
Docker镜像打包 Datahub安装
Datahub安装
通过pip download下载相关安装包,再通过pip install命令安装
pip download -d lib acryl-datahub
pip install –no-index –f lib/*
安装过程中有过 avro-1.10.2.tar.gz 等tar压缩包安装失败的情况，直接解压通过setup.py脚本进行安装
python setup.py install
安装好后查看datahub版本
python3 -m datahub version
下载github项目中docker-compose-without-neo4j.quickstart.yml文件
python3 -m datahub docker quickstart --quickstart-compose-file ./docker-compose-without-neo4j.quickstart.yml
Docker镜像打包
下载完成后镜像显示如下
docker images
通过docker save命令进行打包镜像,再通过docker load命令进行加载镜像,后续内网机器就不需要联网再下载镜像,可以直接启动。
docker save -o datahub-frontend-react.tar linkedin/datahub-frontend-react
docker load -i datahub-frontend-react.tar
启动datahub
python3 -m datahub docker quickstart -f /opt/docker-compose-without-neo4j.quickstart.yml --no-pull-images
等待出现以上信息表示启动成功,通过http://localhost:9002 端口进行访问，默认账号 datahub 密码 datahub。
安装完成
安装过程中遇到太多问题，大多数都是依赖或者网络超时等。
