大数据StarRocks(二) StarRocks集群部署_starrocks 资源评估，2024年最新最新大厂大数据开发校招面试经验汇总

用户33914928060
79 阅读5分钟

img img img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

LOG_DIR = STARROCKS_HOME/logDATE="{STARROCKS\_HOME}/log DATE = "(date +%Y%m%d-%H%M%S)" JAVA_OPTS="-Dlog4j2.formatMsgNoLookups=true -Xmx32768m -XX:+UseMembar -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:SoftRefLRUPolicyMSPerMB=0 -Xloggc:LOG_DIR/fe.gc.log.{LOG\_DIR}/fe.gc.log.DATE -XX:+PrintConcurrentLocks" JAVA_OPTS_FOR_JDK_9="-Dlog4j2.formatMsgNoLookups=true -Xmx32768m -XX:SurvivorRatio=8 -XX:MaxTenuringThreshold=7 -XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction=80 -XX:SoftRefLRUPolicyMSPerMB=0 -Xlog:gc*:LOG_DIR/fe.gc.log.{LOG\_DIR}/fe.gc.log.DATE:time" meta_dir = ${STARROCKS_HOME}/meta sys_log_level = INFO http_port = 8030 rpc_port = 9020 query_port = 9030 edit_log_port = 9010 mysql_service_nio_enabled = true [root@hadoop1011 /app]# cd /app/StarRocks-3.1.4/be/conf/ [root@hadoop1011 conf]# vim be.conf default_rowset_type=beta be_port=9060 sys_log_level=INFO sys_log_verbose_modules= storage_root_path=/mnt/disk1/starrocks/storage;/mnt/disk2/starrocks/storage;/mnt/disk3/starrocks/storage;/mnt/disk4/starrocks/storage; priority_networks=192.168.10.14/24 webserver_port=8040 brpc_port=8060 heartbeat_service_port=9050 sys_log_roll_num=10 sys_log_roll_mode=SIZE-MB-1024 [root@hadoop1011 /app]# tar -zcvf StarRocks-3.1.4-new.tar.gz StarRocks-3.1.4/ [root@hadoop1011 /app]# python -m SimpleHTTPServer


**priority\_networks配置随be主机的IP**


hadoop1015/hadoop1016

priority_networks=192.168.10.15/24 priority_networks=192.168.10.16/24


**其他节点下载安装包并解压**  
 示例：

[root@hadoop1012 /app]# wget 192.168.10.11:8000/StarRocks-3.1.4-new.tar.gz [root@hadoop1012 /app]# tar -zxvf StarRocks-3.1.4-new.tar.gz


#### （5）hadoop1011/hadoop1012/hadoop103机器上创建元数据目录

[root@hadoop1011 ]# cd /app/StarRocks-3.1.4/fe [root@hadoop1011 ]# mkdir -p meta


#### （6）启动hadoop1011 FE节点

[root@hadoop1011 ]#cd /app/StarRocks-3.1.4/fe [root@hadoop1011 fe]# bin/start_fe.sh --daemon


#### （7）启动mysql客户端，访问FE，查看FE状况

[root@hadoop1011 fe]# mysql -h hadoop1011 -uroot -P9030 mysql> SHOW PROC '/frontends'\G MySQL [(none)]> show frontends \G; *************************** 1. row *************************** Name: 192.168.10.11_9010_1698302659926 IP: 192.168.10.11 EditLogPort: 9010 HttpPort: 8030 QueryPort: 9030 RpcPort: 9020 Role: LEADER ClusterId: 1085778829 Join: true Alive: true ReplayedJournalId: 1774256 LastHeartbeat: 2024-01-03 00:45:22 IsHelper: true ErrMsg: StartTime: 2023-11-24 09:53:06 Version: 3.1.4-0c4b2a3


#### （8）添加其他FE节点，角色也分为FOLLOWER,OBSERVER

mysql> ALTER SYSTEM ADD FOLLOWER "hadoop1012:9010"; mysql> ALTER SYSTEM ADD FOLLOWER "hadoop1013:9010";


#### （9）启动hadoop1012,hadoop1013 FE节点，第一次启动需指定–helper参数，后续再启动无需指定此参数

[root@hadoop1012 fe]# bin/start_fe.sh --helper hadoop1011:9010 --daemon [root@hadoop1013 fe]# bin/start_fe.sh --helper hadoop1011:9010 --daemon


#### （10）全部启动完毕后，再使用mysql客户端查看FE的状况,alive全显示true则无问题

MySQL [(none)]> show frontends \G; *************************** 1. row *************************** Name: 192.168.10.11_9010_1698302659926 IP: 192.168.10.11 EditLogPort: 9010 HttpPort: 18030 QueryPort: 9030 RpcPort: 9020 Role: LEADER ClusterId: 1085778829 Join: true Alive: true ReplayedJournalId: 1774256 LastHeartbeat: 2024-01-03 00:45:22 IsHelper: true ErrMsg: StartTime: 2023-11-24 09:53:06 Version: 3.1.4-0c4b2a3 *************************** 2. row *************************** Name: 192.168.10.12_9010_1698303243473 IP: 192.168.10.12 EditLogPort: 9010 HttpPort: 8030 QueryPort: 9030 RpcPort: 9020 Role: FOLLOWER ClusterId: 1085778829 Join: true Alive: true ReplayedJournalId: 1774256 LastHeartbeat: 2024-01-03 00:45:22 IsHelper: true ErrMsg: StartTime: 2023-11-21 15:56:57 Version: 3.1.4-0c4b2a3 *************************** 3. row *************************** Name: 192.168.10.13_9010_1698303248816 IP: 192.168.10.13 EditLogPort: 9010 HttpPort: 8030 QueryPort: 9030 RpcPort: 9020 Role: FOLLOWER ClusterId: 1085778829 Join: true Alive: true ReplayedJournalId: 1774256 LastHeartbeat: 2024-01-03 00:45:22 IsHelper: true ErrMsg: StartTime: 2023-11-21 15:57:49 Version: 3.1.4-0c4b2a3


#### (11) 添加BE

mysql> ALTER SYSTEM ADD BACKEND "hadoop1014:9050"; mysql> ALTER SYSTEM ADD BACKEND "hadoop1015:9050"; mysql> ALTER SYSTEM ADD BACKEND "hadoop1016:9050";


#### (12)部署BE，用户可以使用命令直接将BE添加到集群中，一般至少布置3个BE，每个BE实例添加步骤相同

[root@hadoop1014 app]# cd StarRocks-3.1.4/be/ [root@hadoop1014 be]# /mnt/disk{1..4}/starrocks/storage [root@hadoop1014 be]# bin/start_be.sh --daemon


#### （13）在每个BE节点上部署Broker，Broker**是无状态服务**,此角色主要用于后续Broker load使用,启动安装目录的Broker服务

[root@hadoop1014 StarRocks-3.1.4]# cd apache_hdfs_broker/ [root@hadoop1014 apache_hdfs_broker]# bin/start_broker.sh --daemon


#### （14）添加对应BROKER 节点

mysql> ALTER SYSTEM ADD BROKER broker "hadoop1014:8000"; mysql> ALTER SYSTEM ADD BROKER broker "hadoop1015:8000"; mysql> ALTER SYSTEM ADD BROKER broker "hadoop1016:8000";


#### （15）查看状态

MySQL [(none)]> SHOW PROC "/brokers"\G

img img img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

avatar
文章
阅读
粉丝