1.ClickHouse 提供了Kafka Engine 作为访问Kafka集群的一个接口(数据流)
缺点:不可单独按表设置入库大小,比如你想只有1条kafka数据落地clickhouse,可以实现,但比较麻烦
2.clickhouse_sinker
3.gohangout
做了以下优化:
ipip.go中简写了 country_name -> country,province_name -> province,city_name -> city,由于业务不需需,删除了isp、latitude等 根目下上传了 ipipfree.ipdb 文件 clickhouse_output.go中实现在自动加载表中所有字段,无需在配置文件中配置fields,对json解析时数值类型不匹配的错误,自动根据数据库类型转化(相关代码类型请见clickhouse_output.go432行),无需再配置文件中使用json:not_usenumber加Convert处理
4.官网推荐各种接入clickhouse的第三方库