前言
- 随着云计算和大数据的发展，分布式架构已经成为常态。在分布式系统中，日志也随之分布到多台服务器上。这时候，要借助日志来排查系统问题，或者分析业务数据等，成本就比传统的单机系统要高很多
- 从大数据的角度来看，大数据的来源，主要包括
- 数据库
- 日志文件
- 爬虫
- 其中日志文件是最常见也是量最大的数据来源。爬虫也经常会将初步处理的数据以文件的形式存放，也可以归结到日志文件一类。解决日志文件的采集、解析和分析，也是大数据时代的普遍需求
- 所以，在云计算和大数据时代，将分布在多台服务器上的日志集中起来，统一地进行存储、解析、搜索和分析展现，成为一种普遍需求。在开源领域，
ELK技术栈是解决日志问题的一种流行方案。传统的基于倒排索引的搜索功能之外，通过引入列式存储DocValue，具备了不错的分析能力 - 但要用好这套开源产品，也需要深入理解每个组件的细节，需要有一支技术能力较强的团队来维护和开发
