huan1993

工作中有个需求，当数据库的数据变更时，另外一个系统中的数据要能及时感应到，通过调研知道，监听数据库的binlog可以做到一个准实时的通知，而canal主要用途是基于 MySQL 数据库增量日志解析工具

最近在看 Sharding-JDBC方面的内容，此处简单记录一下使用Sharding-JDBC中的复合分片键来实现分表的方法。此处实现模拟订单的分库分表操作，基于orderId和customerId。

在我们数据库中有些时候会保存一些用户的敏感信息，比如： 手机号、银行卡等信息，如果这些信息以明文的方式保存，那么是不安全的。假如： 黑客黑进了数据库，或者离职人员导出了数据，那么就可能导致敏感信息泄漏

使用 filebeat 收集系统中的日志到 elasticsearch 中。 读取系统中的日志文件，排除不需要的数据。 多行日志的处理。 filebeat.yml中敏感的信息(比如：密码)需

使用logstash收集系统上的日志，并使用 grok解析日志，使用mutate修改解析出来的字段类型、删除字段、重命名字段，最后将解析好的日主输出到 elasticsearch中。

我们的应用程序通常每天都会产生非常多的日志，这些日志大多都是一个字符串的格式，那么我们如果想从中提取一些有用的信息（比如：请求的时间、日志的级别等），那么应该如果实现呢？使用logstash grok

当我们使用logstash从外部读取到数据后，默认情况下读取到的值都是string的类型，假设我们这个时候需要修改字段值的类型，如果从string修改成integer，或者删除字段、修改字段的名字

在我们的java程序中，经常会输出一些日志，来帮助我们来分析一些问题。但是对于我们的异常来说，它可能存在多行,因此我们就需要处理这种多行的事件。

假设我们需要从多个渠道来收集数据，比如：1、从文件收集。2、从tcp收集。不同的渠道收集过来的数据需要做不同的处理。那么我们这个时候应该如何处理呢？使用 multi pipeline