ELK+Filebeat+Kafka+ZooKeeper 构建海量日志分析平台

分布式搜索和分析引擎。具有高可伸缩、高可靠和易管理等特点。基于 Apache Lucene 构建，能对大容量的数据进行接近实时的存储、搜索和分析操作。 日志收集器。搜集各种数据源，并对数据进行过滤、分析、格式化等操作，然后存储到 Elasticsearch。 数据分析和可视化平…

在上一篇中介绍了ElasticSearch实战系列二: ElasticSearch的DSL语句使用教程---图文详解，本篇文章就来讲解下 ElasticSearch 6.x官方Java API的使用。 目前市面上有几种常见的ElasticSearch Java API架包，Je…

在我们使用mysql和elasticsearch结合使用的时候，可能会有一些同步的需求，想要数据库和elasticsearch同步的方式其实有很多。 可以使用canal，它主要是监听mysql的binlog 日志，可以监听数据的一些变化，如果数据发生了变化我们需要做什么逻辑，这…

作为中国最大的在线教育站点，目前沪江日志服务的用户包含沪江网校，交易，金融，CCtalk（直播平台） 等多个部门的多个产品的日志搜索分析业务，每日产生的各类日志有好十几种，每天处理约10亿条（1TB）日志，热数据保留最近7天数据，冷数据永久保存。