大数据分析——Apache Doris(十二)

194 阅读2分钟

一起养成写作习惯!这是我参与「掘金日新计划 · 4 月更文挑战」的第15天,点击查看活动详情

配置broker节点
拷贝源码 fs_broker 的 output 目录下的相应 Broker 目录到需要部署的所有节点上。建议和 BE 或者 FE 目录保持同级。
编译fs_broker 拷贝output目录的部署到node1节点
docker cp b1e2fa82ab35:/ apache-doris-0.13.0-incubating-src/fs_brokers/apache_hdfs_broker/output /export/server/apache-doris-0.13.0/
 将安装目录分发到另外两台节点
进入/export/server/apache-doris-0.13.0目录
scp  -r apache_hdfs_broker/ node2:/export/server/apache-doris-0.13.0/
scp  -r apache_hdfs_broker/ node3:/export/server/apache-doris-0.13.0/
 启动 Broker
三台机器分别启动
sh /export/server/apache-doris-0.13.0/apache_hdfs_broker/bin/start_broker.sh --daemon
 添加broker节点
使用mysql客户端访问pe,添加broker节点
mysql -uroot -h node1 -P 9030 -p
输入密码:123456
要让 Doris 的 FE 和 BE 知道 Broker 在哪些节点上,通过 sql 命令添加 Broker 节点列表
ALTER SYSTEM ADD BROKER broker_name "node1:8000" , "node2:8000" , "node3:8000" ;
其中 host 为 Broker 所在节点 ip;port 为 Broker 配置文件中的 broker_ipc_port。
 查看 Broker 状态
SHOW PROC "/brokers";
 
注:在生产环境中,所有实例都应使用守护进程启动,以保证进程退出后,会被自动拉起,如 Supervisor (opens new window)。如需使用守护进程启动,在 0.9.0 及之前版本中,需要修改各个 start_xx.sh 脚本,去掉最后的 & 符号。从 0.10.0 版本开始,直接调用 sh start_xx.sh 启动即可。也可参考 这里
 BE 扩容和缩容

用户可以通过 mysql 客户端登陆 Master FE。

BE 节点的扩容和缩容过程,不影响当前系统运行以及正在执行的任务,并且不会影响当前系统的性能。数据均衡会自动进行。根据集群现有数据量的大小,集群会在几个小时到1天不等的时间内,恢复到负载均衡的状态。集群负载情况,可以参见 Tablet 负载均衡文档

l 增加 BE 节点

BE 节点的增加方式同 BE 部署 一节中的方式,通过 ALTER SYSTEM ADD BACKEND 命令增加 BE 节点。

BE 扩容注意事项:

  • BE 扩容后,Doris 会自动根据负载情况,进行数据均衡,期间不影响使用

删除 BE 节点

删除 BE 节点有两种方式:DROP 和 DECOMMISSION

DROP 语句如下:

ALTER SYSTEM DROP BACKEND "be_host:be_heartbeat_service_port" ;