很多情况大数据集群需要获取业务数据，用于分析。通常有两种方式： 第一种可以是在业务中编写代码，将觉得需要发送的数据发送到消息队列，最终落地到大数据集群。 第二种则是通过数据同步的方式，将关系型数据同步到大数据集群，可以是存储在 hdfs 上，使用 hive 进行分析，或者是直接…

最近在逛 GitHub 的时候发现一个有趣的 go 项目 go-sniffer，是用来在开发环境监控 mysql 和 redis 执行命令的。 参照官网 来安装。 下面以 Ubuntu 为例来介绍一下。 1. 下载 Go 1.11.2压缩包 2. 解约文件 3. 创建 GOPA…

soar开源两周以来，在Github获得了社区2700+颗星的支持，这期间有很多的开源社区同学参与到soar的成长当中，为我们提供了许多优秀的意见和建议。 我们希望能够有更多的人来感受一下这款“SQL优化神器”能够带给你的方便和快捷，这篇文章将会对soar可以提供的功能以及一些…

林伟壕，SecDevOpsor，先后在中国电信和网易游戏从事数据网络、网络安全和游戏运维工作。对Linux运维、虚拟化和网络安全防护等研究颇多，目前专注于网络安全自动化检测、防御系统构建。 在之前的文章《从自身漏洞与架构缺陷，谈Docker安全建设》中，我们介绍了Docker存…

这是一篇阐述SQL JOINs的文章，本文是国内大佬翻译的一篇文章，为了更容易理解，LZ以MySQL为例在最后面加了示例，原文链接为：https://www.cnblogs.com/xufeiyang/p/5818571.html 背景 我是个不喜欢抽象的人，一图胜千言。我在网…

索引（index）类似大学图书馆建书目索引，可以提高数据检索的效率，降低数据库的IO成本。MySQL在300万条记录左右性能开始逐渐下降，虽然官方文档说500~800w记录，所以大数据量建立索引是非常有必要的。MySQL提供了Explain，用于显示SQL执行的详细信息，可以进…