大数据

由于在工作中有用到一个三节点的小型Kafka集群但没有找到合适的管理工具来管理Topic和Connect，于是便想着自己开发一个包含我常用基础功能的轻量级Kafka管理工具。

最近在使用Java连接Impala时遇到了一些问题，特此记录下来；一是加深自己印象，二是希望给遇到类似问题的新手coders们 一些帮助。

以下详细说明了如何通过一台虚拟机搭建的单节点jdk+zookeeper+kafka+canal+mysql集群环境，搭建完成可通过canal监控mysql数据库数据发送到kafka。

Flink集群元空间内存溢出报错处理 一、环境以及背景故事说明 二、详细报错情况 三、解决办法 四、内存模型分析

数据实时获取方案之Flink CDC——由Flink CDC来监测到源数据库数据变更并将其发送到Kafka或同步到目标数据库中，再由后续消费者或其它应用来使用数据。

部署Landoop kafka-connect-ui最简单的办法还是通过docker来部署，我们之前的kafka-connect-ui就是通过docker部署的，但是，最近发现个问题……

在内网环境中通过docker部署LDAP并在CDH的hive和impala中集成，其中配置的端口，镜像名，密码等需要根据自己情况进行更改。