单表同步 表结构 logstash 配置 logstash 配置详解 配置中的如下项是关于mysql链接相关的配置。 配置中的如下项是表示使用update_time来记录上一次的更新时间，内容存储在l

一、日志文件采集 参考文档 文件采集：https://www.elastic.co/guide/en/logstash/7.x/plugins-inputs-file.html elasticsear

有很多公司因为业务要求必须保证消息不丢失、不重复的到达，比如无人机实时监控系统，当无人机闯入机场区域，我们必须立刻报警，不允许消息丢失。而无人机离开禁飞区域后我们需要将及时报警解除。如果消息重复了呢，我们是否需要复杂的逻辑来自己处理消息重复的情况呢，这种情况恐怕相当复杂而难…

对快速理解 Kafka 原理和工程模型很有帮助

Shell是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务, Shell脚本（shell script），是一种为Shell编写的脚本程序。我们经常说的shell通常都是指shell脚本。 Shell跟java、php、Python编程一样，…

Shell 脚本编程快速入门

这种数据结构同C语言的结构体，内部可以包含不同类型的数据。还是用上面的数据，先创建一个包含struct的DataFrame Spark 最强的功能之一就是定义你自己的函数（UDFs），使得你可以通过Scala、Python或者使用外部的库（libraries）来得到你自己需要的…

命令简介在服务器安装好系统及相关服务之后，对于系统的配置、服务的配置、数据的管理以及服务器的操作权限管理就变的尤为重要。因为，涉及到服务器的各项安全（如：登录、操作）。crontab 命令用来打开 c

事情是这样的，最近认识的一位小姐姐有每天早晨看天气预报的习惯。在我看来，很多人起床第一件事情就是看微信消息，既然这样，我就勉为其难每天早晨给小姐姐发送一则天气预报吧。 开始几天，我是使用很原始的方法，自己去获取天气预报截图，再手动发送给小姐姐。连续几天之后我一想：不对呀，我怎么…