starRocks了解与部署FE

38 阅读1分钟

特点

Mpp数据库,可接入Spark、Flink、Hive、ElasticSearch,可通过mysql和常用BI工具数据分析。

基本概念

  • FE:管理客户端连接,进行查询规划、查询调度。
  • BE:负责数据存储,具体任务执行
  • Broker:负责数据中转,提供导入导出功能(非必安装)
  • StarRocksManager:提供集群监控管理
  • Tablet:逻辑分片,存储在BE上。数据存储和管理基本单元。

安装部署FE

  • 判断是否支持avx2(cat /proc/cpuinfo |grep avx2),有信息输出则支持
  • 1、安装mysql客户端
  • 2、安装jdk8
  • 3、下载starrocks的tar包(StarRocks-3.4.9-centos-amd64要求最小内存5G,硬盘50G
  • wget www.starrocks.com/zh-CN/downl…
  • mv 4 StarRocks-1.19.1.tar.gz
  • 4、解压tar包
  • tar -zxvf strarRocks-1.19.1.tar.gz -C /opt/module/
  • 5、设置系统环境变量
  • export STARROCKS_HOME=/opt/module/StarRocks-3.4.9-centos-amd64
    echo "export STARROCKS_HOME=/opt/module/StarRocks-3.4.9-centos-amd64" >> ~/.bashrc
    source ~/.bashrc
  • 6、修改fe.conf(添加jvm参数,-Xmx设置到16G以上,测试环境如下,正式环境可参考官网
  • meta_dir = ${STARROCKS_HOME}/meta
    priority_networks = 192.168.1.0/24 # 使用你的IP
  • 7、分发straRocks到其他节点
  • scp StarRocks-1.19.1 ip:/opt/module/
  • 8、创建元数据目录
  • cd..
  • mkdir -p meta (每个节点fe下都创建)
  • 9、启动FE
  • cd bin/
  • ./start_fe.sh --daemon (以守护进程启动)
  • 10、启动mysql,访问FE
  • mysql -h 当前IP -P 9030 -u root -p
  • SHOW PROC '/frontends'\G (查看FE信息)
  • 11、给其他FE节点指定角色(FOLLOWER多台,参与节点选举,OBSERVER一台不参与选举,监控作用
  • ALTER SYSTEM ADD FOLLOWER/OBSERVER "ip:9010"
  • 12、其他节点上启动FE(FE下执行,首次启动需要--helper参数,后续不需要)
  • bin/start_fe.sh --helper ip:9010 --daemon