Clickhouse 入门实战
介绍
ClickHouse 是俄罗斯的 Yandex 于2016年开源的列式存储数据库(DBMS)，主要用于在线分析处理查询(OLAP)。
下面简单介绍行式存储和列式存储的区别:
行式数据库
列式数据库
列式数据库由于相同指标会存到一起, 所以可以很方便的针对 多条数据的相同指标 进行统计、分析, 而行式数据库由于基于行的存储, 需要将该行的数据都取出 ,再取出所需要的指标, 就会导致多取了很多不必要的指标, 可见行式存储的分析性能没有列式存储高.
安装
本文都是使用 docker 进行 Clickhouse 的安装.
# 使用docker启动 clickhouse
# 如果要使用自定义配置文件需要进行额外的映射, 映射到容器内的/etc/clickhouse-server/地址
docker run -d --name clickhouse-server --ulimit nofile=262144:262144 clickhouse/clickhouse-server
# 进入容器
docker exec -it clickhouse-server bash
# 使用 clickhouse-client 客户端进入, 进入后就能进行数据库操作了.
clickhouse-client
下面是结果图
数据测试
建表
创建测试的库和表, 由于创建几个表的sql太长,就不在这里粘贴, 详见 官方指引
# 创建 tutorial 库
# 使用 clickhouse-client 创建
clickhouse-client --query "CREATE DATABASE IF NOT EXISTS tutorial;"
# 如果是已经使用 clickhouse-client 连接到server, 则只需下面
CREATE DATABASE IF NOT EXISTS tutorial;
# 创建表1 hits_v
# 创建表2 visits_v1
建表成功后:
use tutorial
SHOW TABLES
Query id: xxx
┌─name──────┐
│ hits_v1 │
│ visits_v1 │
└───────────┘
导入数据
# 接下来使用官方的示例文件进行测试
curl https://datasets.clickhouse.com/hits/tsv/hits_v1.tsv.xz | unxz --threads=`nproc` > hits_v1.tsv
curl https://datasets.clickhouse.com/visits/tsv/visits_v1.tsv.xz | unxz --threads=`nproc` > visits_v1.tsv
# 此处跳过一个小时 ....
# 下面是导入
clickhouse-client --query "INSERT INTO tutorial.hits_v1 FORMAT TSV" --max_insert_block_size=100000 < hits_v1.tsv
clickhouse-client --query "INSERT INTO tutorial.visits_v1 FORMAT TSV" --max_insert_block_size=100000 < visits_v1.tsv
由于此处我们需要将文件映射到容器内, 所以把容器删掉, 启动一个新的, 添加路径映射, 此时到启动命令改为:
# 增加了两个文件的映射路径到容器内的 /data
docker run -d --name clickhouse-server -v /data/demo/clickhouse/data:/data --ulimit nofile=262144:262144 clickhouse/clickhouse-server
# 由于之前没有映射 clickhouse 的数据文件到外部, 所以新建容器需要再建一次表, 见上面的 "建表"--> "这次我们依旧没有映射Clickhouse的数据映射"
# 数据导入
docker exec -it clickhouse-server bash
cd /data
# 建表
建表...
# 导入数据, 导入的过程还是挺快的
clickhouse-client --query "INSERT INTO tutorial.hits_v1 FORMAT TSV" --max_insert_block_size=100000 < hits_v1.tsv
clickhouse-client --query "INSERT INTO tutorial.visits_v1 FORMAT TSV" --max_insert_block_size=100000 < visits_v1.tsv
查询
导入数据成功后, 执行一个查询, 查询结果还是相当的快的.
SELECT
StartURL AS URL,
AVG(Duration) AS AvgDuration
FROM tutorial.visits_v1
WHERE StartDate BETWEEN '2014-03-23' AND '2014-03-30'
GROUP BY URL
ORDER BY AvgDuration DESC
LIMIT 10
集群安装
集群安装跟单机类似, 但是有一个不同的地方, 就是 metrika.xml 的配置文件, 该配置文件需要映射到容器内的 /etc/metrika.xml
<!-- 这里目前使用3分片, 1数据副本的情况, 如果是多副本, 则要在同一个 shard 下面添加该分片的其他副本 -->
<yandex>
<clickhouse_remote_servers>
<test_cluster_name>
<shard>
<internal_replication>true</internal_replication>
<replica>
<host>server01</host>
<port>9000</port>
</replica>
</shard>
<shard>
<replica>
<internal_replication>true</internal_replication>
<host>server02</host>
<port>9000</port>
</replica>
</shard>
<shard>
<internal_replication>true</internal_replication>
<replica>
<host>server03</host>
<port>9000</port>
</replica>
</shard>
</test_cluster_name>
</clickhouse_remote_servers>
<!--zookeeper相关配置-->
<zookeeper-servers>
<node index="1">
<host>zkServer01</host>
<port>2181</port>
</node>
<node index="2">
<host>zkServer02</host>
<port>2181</port>
</node>
<node index="3">
<host>zkServer03</host>
<port>2181</port>
</node>
</zookeeper-servers>
<!-- 以上的配置在多台服务器里面是一样的 -->
<!-- macros 配置在每个服务器上都不一样, 一般 shard 为分片序号, replica 为副本名称 -->
<!-- 因为这里是 3分片1副本, 所以其他两个的配置分别是 {shard=02, replica=server02}, {shard=03, replica=server03} -->
<macros>
<shard>01</shard>
<replica>server01</replica>
</macros>
<networks>
<ip>::/0</ip>
</networks>
<!-- 数据压缩 -->
<clickhouse_compression>
<case>
<min_part_size>10000000000</min_part_size>
<min_part_size_ratio>0.01</min_part_size_ratio>
<method>lz4</method>
</case>
</clickhouse_compression>
</yandex>
在使用 ReplcatedMergeTree 表的时候, 就会用到 macros 的这几个属性
-- 建表语句
...
ENGINE = ReplcatedMergeTree(
'/clickhouse/tables/{shard}/hits',
'{replica}'
)
最后
本文是对 Clickhouse 入门的一个讲解, 还有其他的很多操作建议看 官方文档, 毕竟官方文档才是最权威的.
欢迎扫描下方二维码或搜索公众号 LemonCode , 一起交流!
