在一个大数据团队中，大数据架构师主要关注的核心问题就是技术架构选型问题。架构选型问题一般会受到哪些因素的影响呢？在我们的实践中，一般大数据领域架构选型最受以下几个因素影响： 这一点在大数据领域尤其是一个重要的因素。不过从根本上讲，数据量级本身也是一种业务场景的衡量。数据量级的不…

日志分析系统可以实时收集、分析、监控日志并报警，当然也可以非实时的分析日志。splunk是功能强大且用起来最省心的，但是要收费，免费版有每天500M的限制，超过500M的日志就没法处理了。ELK系统是

拉取docker镜像 docker pull docker.elastic.co/beats/filebeat:7.13.2 下载官方默认的配置文件 在宿主机上，新建一个配置文件的目录，用于存放fil

本文篇幅比较长，一共使用了三台机器，这三台机器上部署了 kafka 集群(2.3)，es 集群(7.11.2)，MongoDB 副本集(4.2)，还有 graylog 集群(4.0.2)，搜集的日志是 k8s 的日志，使用 DaemonSet 的方式通过 filebeat(7.…

乾坤微应用的示例文档还不是很全，有些项目需要需要找方法手动添加到乾坤框架，本文讲解graylog改装成乾坤微应用

发现Graylog其实是在国外IGP项目竞选的时候，一个非常不错的idea，当时是Robert提出的构建这个日志管理平台，私底下看他演示了demo，首先具有可视化后台日志数据，这点很实用。后来发现，graylog的真正强大，是它赋予日志管理系统具有google的能力，即可以对日…

学无止境，任何形式的学习，最终必须要有输出才有可能变成自己的知识体系和知识积累。这篇文章也是自己对ELK学习过程中的一次输出，我按照我一贯学习新技术的常用思维（3W1H）去总结归纳。

​ 今天想谈谈消息队列，洪爵大概可以猜测到大家听到消息队列有什么反应，大致可以分为以下几类人。 ​ 第一类人，懵懵懂懂，刚大学接触编程，还没使用过消息队列，甚至以为消息队列就是代码里面去new一个Li

Logstash 是服务器端数据处理管道，能够从多个来源采集数据，转换数据，然后将数据发送到“存储库”中。 Beats 集合了多种单一用途数据采集器。向 Logstash 或 Elasticsearc