kafka接入clickhouse

2,375 阅读1分钟

1.ClickHouse 提供了Kafka Engine 作为访问Kafka集群的一个接口(数据流)

clickhouse.tech/docs/en/eng…

缺点:不可单独按表设置入库大小,比如你想只有1条kafka数据落地clickhouse,可以实现,但比较麻烦

2.clickhouse_sinker

github.com/housepower/…

3.gohangout

github.com/childe/goha…

gitee.com/betas/gohan…

github.com/jsntian/goh…

做了以下优化:

ipip.go中简写了 country_name -> country,province_name -> province,city_name -> city,由于业务不需需,删除了isp、latitude等 根目下上传了 ipipfree.ipdb 文件 clickhouse_output.go中实现在自动加载表中所有字段,无需在配置文件中配置fields,对json解析时数值类型不匹配的错误,自动根据数据库类型转化(相关代码类型请见clickhouse_output.go432行),无需再配置文件中使用json:not_usenumber加Convert处理

4.官网推荐各种接入clickhouse的第三方库

clickhouse.tech/docs/zh/int…