去年10月，我开始对两项技术充满着好奇，一个是ELK，另一个是docker。

ELK的核心是一个“分布式实时搜索引擎”，光听名字就会被吸引住，因为即便有专门的团队，要做一个这样的搜索引擎也不是件容易的事情；对于小团队，或创业公司，能有ELK使用是一种福音，所以我们花时间来学习这项技术是非常值得的，说不定哪天就可以派上用场。ELK的使用场景一般有两个：

作为全局日志收集中心，将非结构化的日志转化为结构化的信息进行存储，存储后，你可以做很多事情，例如监控服务是否正常，排查某个用户反馈的问题等，同时，ELK还可以帮你把结果进行可视化展示
把它作为公司网站的搜索引擎，搜索引擎是互联网行业中的明星技术，有了它，老板们再也不用为搜索引擎的开发成本发愁了。

简单介绍完ELK，下面说下docker，docker是近几年来的一个革命化产品，通俗点说，它是一个轻量级的虚拟机，运行时额外消耗的资源少，使用它可以统一公司的开发环境，规范化部署，更重要的是，它可以把一个服务依赖的所有组件一起打包，通过操作一个包来管理所有的组件，这不是革命是什么，没有比这更好的解放程序员重复劳动的工具了，所以，你可以看到的是，基本上所有互联网公司都在使用它，在2016年的《ThoughtWorks技术雷达》里，你甚至可以看到

docker, docker, docker!

这样简单粗暴的标题，不止是重要的事情说三遍，还有一种终于等到你的感觉。

总的来说这两项技术可以极大的节省开发成本，提升工作效率，让工程师们专注于提升自己的价值、为公司创造财富的事情上，正因为此，才有了我今天想说的docker-elka，从名字上，可以把它理解为ELK的docker化产物，即把ELK打包成一个服务，那么最后面的a是什么，a是elastalert，它是专门为ELK量身打造的监控报警软件，当你想监控某个值是否异常，例如超出阈值、波动非常大等，当这些条件发生时，你还可以通过邮件等多种方式报警，让我们可以更为主动的处理异常事件。所以， docker-elka打包了4个软件，分别是elasticsearch、logstash、kibana和elastalert，你可以在我的github上查看并使用它：http://t.cn/RaBICBl

这个项目并不是从零开始的，它基于github上的两个独立的项目，一个是docker-elk(http://t.cn/RaBJ2F8)，一个是elastalert-docker(http://t.cn/RaBJUbQ)，我只是把它们整合起来，同时对国内用户更为友好。

最终这个项目呈现出来的内容是非常简单的，但由于也是初学docker，让我走了不少弯路，下面我主要结合docker化的思路，和国内用户使用docker的正确方式这两点来做下总结

docker化的思路

知道了docker这项技术后，便产生了马上把它用起来的想法，虽然我不知道它的全部细节，但我知道“那个地方”是一个“更好的世界”，先来看看在docker化之前我设计的ELK拓扑图：

第一眼的映像应该是相当复杂的，但它的可用性、可扩展性和吞吐量却可以令人满意，唯一的缺点是，每次部署需要花费比较多的时间，因为在每台机器上，都需要做以下事情：

拷贝必要的软件
安装软件
配置、启动软件

当然你可以用一些自动化工具（例如saltstack）来提高效率，但如果你的规模很小，自动化工具对你的帮助会比较有限，这时docker化的ELK优势就非常明显了，它能让你在任何有需要的地方，一键启动最基本的组件，对比起来，如果用四两拨千斤来形容这种工作方式，我认为再适合不过了。

docker化一般思路是先把每个服务build成docker image，然后把它们push到docker hub，创建docker-compose文件，通过这个文件把所有的images组合到一起，同时将配置文件和数据通过docker volume的方式，把宿主的文件夹挂载到docker容器中，从而达到容器和宿主间数据共享的效果（在这里需要注意权限问题，尤其是elasticsearch的数据权限），在新的环境运行应用前，只需要调整配置，然后执行docker-compose up命令，它会从docker hub上下载对应的images，并且运行它们。

之前走的弯路是，省去了上传docker hub这一步，导致了每次切换环境都要build所有的images，而build时间往往比较长，这在后续的使用中是不能忍受的，github上还有另外一个elk的docker化项目：http://t.cn/RMyq7pl，就是按照这样的方式实现的，感兴趣的同学可以对比下差异。

国内用户使用docker的正确方式

国内使用docker的首要问题是速度太慢，直接使用别人的项目往往会进行不下去，所以第一个需要解决的问题就是提速，docker提速需要注意两个方面：

docker hub的加速，加快镜像下载的速度
container内部安装软件的加速

docker hub的加速非常直接，也很简单，推荐使用阿里云加速器(http://t.cn/RaBJVrg)，以Linux为例，只需要配置/etc/docker/daemon.json即可

container内部软件的加速要区别对待，假设你使用ubuntu基本镜像，你不能直接修改apt源——我就犯过这样的错，导致完全没有速度——而要找到自带国内apt源的基本镜像，中科大的基本镜像(http://t.cn/RaB5Zhd)比较全；除此之外的软件加速，则需要手动配置了，例如pip源，则需要修改/root/.pip/pip.conf和/root/.pydistutils.cfg这两个文件。

这两类源设置后，再操作docker，会让你事半功倍。

总结一下，本文主要是docker和elk的简要介绍，希望能帮你能清晰的认识到它们是什么，能对在工作中是否有机会应用它们做出判断，同时结合自己在使用过程中遇到的问题，让你在使用时少走弯路，最后再附上docker-elka这个项目的github地址：http://t.cn/RaBICBl，有任何问题可以直接和我交流

我是一个全栈工程师，定居在深圳

我崇尚简约哲学，重视个人成长

在这里，我会分享：

效率升级 | 技术经验 | 践行收获

欢迎关注我的公众号，我们一起成长