ClickHouse集群部署

3,400 阅读2分钟

1 准备

准备4台机子,配置相近,CPU:24核MEM:64G,OS:Centos 6.10 64bit

节点名称 分片号 副本号
node1 01 01
node2 01 02
node3 02 01
node4 02 02

2 zookeeper安装

在4台机子上分别安装zookeeper

 ZooKeeper官网下载 zookeeper-3.4.14.tar.gz

2.1 解压到指定目录,如/opt/zookeeper

sudo tar -zxvf zookeeper-3.4.8.tar.gz

2.2 环境变量配置

编辑 .bashrc 文件, 在文件末尾添加以下环境变量配置:

   export ZOOKEEPER_HOME=/opt/zookeeper
   export PATH=$PATH:$ZOOKEEPER_HOME/bin

2.3 运行以下命令使环境变量生效

   source .bashrc

2.4 关闭防火墙

systemctl stop firewalld.service
systemctl disable firewalld.service
firewall-cmd --state

2.5 进入conf目录下修改zoo.cfg

/opt/module/zookeeper/conf
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper
clientPort=2181
dataDir=/opt/module/zookeeper/data
dataLogDir=/opt/module/zookeeper/logs
server.1=node1:2888:3888
server.2=node2:2888:3888
server.3=node3:2888:3888
server.4=node4:2888:3888

2.6 每台机子在上一步指定的dataDir目录下创建myid文件

例如第一台机子node1,创建文件后,插入一个数字1即可。node2填入2;node3填入3;node4填入4.

vim myid

2.7 在4台机子上分别启动zookeeper

/opt/module/zookeeper/bin/zkServer.sh start

2.8 验证集群是否启动成功

当有一台为leader其余3台为follower即可

 /opt/module/zookeeper/bin/zkServer.sh status

3 clickhouse单机安装

依次在各个节点上单机安装clickhouse

3.1 rpm安装

先确保安装了curl,没有的话,安装一下

yum install -y curl

3.2 添加clickhouse源

curl -s https://packagecloud.io/install/repositories/altinity/clickhouse/script.rpm.sh | sudo bash

3.3 查一下clickhouse源有没有添加成功

yum list 'clickhouse*'

3.4 安装server和client

yum install -y clickhouse-server clickhouse-client

3.5 检查是否安装成

yum list installed 'clickhouse*

3.6 修改可用内存大小

vi /etc/clickhouse-server/users.xml

改写<max_memory_usage>10000000000</max_memory_usage> 为 <max_memory_usage>20000000000</max_memory_usage>并保存

3.7 启动服务

sudo service clickhouse-server start

3.8 使用客户端

clickhouse-client

若能正常进入客户端则安装成功,ctrl+c退出,并关闭clickhouse服务。

sudo service clickhouse-server stop

4. 集群安装

4.1 在4台都完成安装后,修改配置文件

vi /etc/clickhouse-server/config.xml 

删除“remote_servers”标签以及标签内的内容,修改host名称为实际机器名称,修改zookeeper名称为实际机器名称。

config.rar

4.2 启动集群

在4台机器下,分别执行

service clickhouse-server start

4.3 登录客户端查看

clickhouse-client

出现集群信息即可

图片