bigdata

## 简介 clickhouse会将查询日志，度量日志和堆栈采集日志记录下来，存储到自身数据库的system库中， 分别是query_log,query_thread_log,trace_log,me

手动和自动化脚本迁移hive表结构和数据到另一个集群实践，完全使用hive自带功能操作，可以收藏以备不时之需。

hive内表和外表的区别，和应用场景，以及如何创建内外表，如何进行导入导入数据。如何内外表互转换等.

一个flink1.12的小demo,消息maxwell主题的kafka数据，并在Stdout输出出来

使用docker方式安装各组件，分享一个maxwell采集mysql的binlog日志并发送到kafka的小知识

一步一步使用命令行热删除hadoop的datanode节点，使正常运行的集群无影响，删除操作也称之为节点退役

在不影响业务正常读写的情况下(业务无感知)，进行elasticsearch集群节点的停机维护，滚动扩容和缩容。

一个查看kafka消费组详情和消息滞后的小工具，安装配置简单，以http api请求接口，返回kafka相关json数据

一篇几乎包含完整功能的hadoop命令行指南，包括了hdfs文件系统操作，数据备份，集群管理，文件块检查等

这是我参与8月更文挑战的第16天，活动详情查看：8月更文挑战 为什么要备份CK 虽然CK有复制表之类的引擎，也有一些保护措施(不能人工删除使用带有MergeTree引擎且包含超过50Gb数据的表)，但

大部分内容来源官方指南，增加的部分内容是为顺利跑通指南官网文档:   Guide简介This guide provides a quick peek at Hudi’s capabilities us

1. 下载安装Flink1.121.1下载https://flink.apache.org/downloads.html#apache-flink-1122选择scala2.11的下载既可1.2解压1

前提不是所有组件或角色都支持迁移，CDH中目前仅 开启了HA的namenode支持迁移，像zk,hbase,spark,hive等包括datenode都不支持迁移官网文档https://docs.cl

原因当机器硬件故障可需要退休机器时，在不影响现集群运行情况 在线删除hadoopdatanode节点操作因为我们使用的CDH管理hadoop集群，这里以CDH官方给的文档进行操作https://doc

1. 备份数据库做迁移之前一定要将数据库备份， 做为万一失败后可以恢复的手段2. 更改CM数据库地址vim/etc/cloudera-scm-server/db.properties如果到此就重启cl

问题历史因前期容器规划不当，原部署azakban机器的磁盘空间不够了，，需要迁移azkaban迁移这个迁移分2步迁移azkaban数据库  迁移azkaban服务(azkaban-exec-serve

1.1 下载官方软件，因为我们这里是hadoop3.X, CDH是6.0/1的。所以选择图中红框相应下载既可, 我们使用最新的稳定版v3.0.1 下载地址: https://kylin.apache.org/download/ 5. 启用spark引擎 注意* kylin的配置…

1. 前提 2. 服务器环境 2.1 设置新服务器在CDH集群免密登陆。 3. CDH增加主机 .3 打开CDH UI界面。开始增加机器, 点击Add Hosts 3.6 提供SSH密钥。将服务器密钥上传点击继续既可 3.7 Install Agents(这里会很快安装成功。因…

记录了elasticsearch集群的搭建过程，以及使用golang client连接es写了一个简单demo

1. 什么是confluent-kafka? 2. 开始搭建 confluent-kafka 3. 测试kafka生产消息 4. 使用golang demo测试生产消息消耗的时间