一起养成写作习惯!这是我参与「掘金日新计划 · 4 月更文挑战」的第15天,点击查看活动详情。
配置broker节点
| 拷贝源码 fs_broker 的 output 目录下的相应 Broker 目录到需要部署的所有节点上。建议和 BE 或者 FE 目录保持同级。 |
|---|
| 编译fs_broker 拷贝output目录的部署到node1节点 |
| docker cp b1e2fa82ab35:/ apache-doris-0.13.0-incubating-src/fs_brokers/apache_hdfs_broker/output /export/server/apache-doris-0.13.0/ |
将安装目录分发到另外两台节点
| 进入/export/server/apache-doris-0.13.0目录 |
|---|
| scp -r apache_hdfs_broker/ node2:/export/server/apache-doris-0.13.0/ |
| scp -r apache_hdfs_broker/ node3:/export/server/apache-doris-0.13.0/ |
启动 Broker
| 三台机器分别启动 |
|---|
| sh /export/server/apache-doris-0.13.0/apache_hdfs_broker/bin/start_broker.sh --daemon |
添加broker节点
| 使用mysql客户端访问pe,添加broker节点 |
|---|
| mysql -uroot -h node1 -P 9030 -p |
| 输入密码:123456 |
| 要让 Doris 的 FE 和 BE 知道 Broker 在哪些节点上,通过 sql 命令添加 Broker 节点列表 |
| ALTER SYSTEM ADD BROKER broker_name "node1:8000" , "node2:8000" , "node3:8000" ; |
| 其中 host 为 Broker 所在节点 ip;port 为 Broker 配置文件中的 broker_ipc_port。 |
查看 Broker 状态
| SHOW PROC "/brokers"; |
|---|
| 注:在生产环境中,所有实例都应使用守护进程启动,以保证进程退出后,会被自动拉起,如 Supervisor (opens new window)。如需使用守护进程启动,在 0.9.0 及之前版本中,需要修改各个 start_xx.sh 脚本,去掉最后的 & 符号。从 0.10.0 版本开始,直接调用 sh start_xx.sh 启动即可。也可参考 这里 |
BE 扩容和缩容
用户可以通过 mysql 客户端登陆 Master FE。
BE 节点的扩容和缩容过程,不影响当前系统运行以及正在执行的任务,并且不会影响当前系统的性能。数据均衡会自动进行。根据集群现有数据量的大小,集群会在几个小时到1天不等的时间内,恢复到负载均衡的状态。集群负载情况,可以参见 Tablet 负载均衡文档。
l 增加 BE 节点
BE 节点的增加方式同 BE 部署 一节中的方式,通过 ALTER SYSTEM ADD BACKEND 命令增加 BE 节点。
BE 扩容注意事项:
- BE 扩容后,Doris 会自动根据负载情况,进行数据均衡,期间不影响使用
删除 BE 节点
删除 BE 节点有两种方式:DROP 和 DECOMMISSION
DROP 语句如下:
ALTER SYSTEM DROP BACKEND "be_host:be_heartbeat_service_port" ;