在一个分布式环境中设计和开发一个世界级的产品是具有挑战性的。当上述工程需要由一个分布在世界各地和跨越组织边界的团队来进行时，你必须保持对很多事情的关注。你必须确保开发数据和项目状态的适当可见性，投资于促进协作的适当工具，适当地分配工作，并保持代码质量，同时确保你的开发目标得到实现。你也可以考虑将部分开发工作外包，以便在开发过程中专注于逐步改进你的产品。
虽然外包确实是一个很好的解决方案，但只有当你的供应商团队能够随时访问他们开发所需的数据时，他们才会有生产力。一个分布式的开发环境可能是一个相当复杂的机器。它可能有来自不同服务提供商的服务，每一个都在环境中发挥着不可或缺的作用。例如，你的开发环境可以使用Fargate或Lambda进行无服务器计算，S3或MinIO进行存储，Cloudwatch进行监控。所有这些服务将产生大量的数据，你的外包团队也需要访问这些数据。治理来自所有这些来源的数据可能是一个相当庞大的任务，更不用说分析这些数据和管理跨这些服务的RBAC。
LOGIQ最近帮助一个客户解决了这些确切的问题。
关于我们的客户
我们的客户是一家成熟的金融科技公司，投资于世界各地的金融机构并与之合作，为未得到服务和服务不足的社区促进金融包容性。他们促进管理咨询和技术，以支持他们的合作伙伴和新的业务举措。
客户的开发堆栈主要由以下服务组成。
- 用于监控和日志分析的AWS CloudWatch
- 用于无服务器计算的AWS ECS、AWS Lambda和AWS Fargate
他们的挑战
我们的客户遵循一个产品开发战略，该战略依赖于分布式环境中的外部合作伙伴的协作。这种环境下的产品开发需要每个合作者都在同一起跑线上，以便不断进行有效的协作。统一数据源，得出和分析性能指标，并以良好的组织、可搜索和可共享的方式显示这些数据的需求变得更加关键。
该公司希望通过使用统一和集中的日志和分析的好处来否定在分布式环境中开发的麻烦，使内部和外部开发团队能够加速他们的开发工作。
构成其开发堆栈的各种服务的复杂文档和不准确之处，使得有效地分析其日志并获得运营可见性和可操作的见解变得更加困难。他们的监控堆栈的复杂性和日志数据的相对不可访问性也意味着他们无法提高运营效率和利用最佳的资源利用率。
该公司还希望确保参与开发和监控任务的外部团队只能访问与他们相关的性能指标和信息。
LOGIQ如何帮助
LOGIQ被用于以下目的。
- DevOps：使用AWS Lambda导出器将CloudWatch日志导出至LOGIQ
- 基础设施监控。对AWS ECS、Fargate和Lambda进行统一监控，以便开发人员能够快速迭代并加速其产品开发。
- 安全协作。使得分布式团队能够协同监测和分析来自ECS和Lambda的日志。
解决方案简介
我们将LOGIQ设置为从客户的AWS ECS、Fargate、Lambda和CloudWatch实例中摄取日志数据。使用我们的AWS CloudWatch Exporter Lambda功能，很快就搞定了CloudWatch与LOGIQ的连接。有了这些集成，我们的客户可以统一来自分布式和不同的数据源的日志数据，并通过一个窗口访问它们。
通过LOGIQ对日志数据的统一，使我们的客户能够对他们基于AWS的开发环境获得完整的可视性。LOGIQ还为处理AWS服务产品及其文档之间的不一致提供了快速的周转。LOGIQ的RBAC功能还帮助我们的客户建立了细粒度的访问策略，使他们能够根据授权级别来管理数据访问。
结果
LOGIQ使他们很容易将关键的应用数据以日志的形式从他们的开发堆栈和监控堆栈带到一个地方。LOGIQ与AWS ECS、Fargate和CloudWatch的快速和无缝集成使其更容易在一个单一的窗格中查看来自所有这些分布式来源的关键信息。
LOGIQ的LOG2Metrics功能也使得从日志数据中提取强大的指标变得异常简单，否则使用他们现有的监控解决方案是很难获得的。LOG2Metrics还使这些指标更容易在时间序列图中可视化，使他们能够识别应用程序性能的模式，得出可操作的见解，甚至在他们造成真正的损害之前识别威胁和弱点。
此外，LOGIQ还使来自ECS任务和CloudWatch的应用日志更容易映射到RBAC策略，从而确保其分布式团队的每个成员只能访问与其任务相关的数据。
关键统计数据
除了在他们的分布式团队中实现无缝数据共享、更简单的RBAC治理和更强的分析能力之外，我们的客户还见证了。
- 更快的查询，在30天的历史数据上运行的查询在5秒内返回结果。
- 统一了3个分布式系统的日志。AWS ECS + Fargate + Lambda
为什么你也应该使用LOGIQ
LOGIQ旨在成为DevOps、SRE和DevSecOps团队的完美数据平台。虽然统一分布式数据源和实时监控和数据分析是必然的，但LOGIQ是唯一能让你通过单一界面执行日志管理、APM、SIEM、AIOps和基础设施与事件监控的平台。没有软件锁定，复杂的定价，或不必要的附加条件。
看看LOGIQ是如何让您从机器数据中获得可操作的洞察力，持续的智能，以及对您的应用程序和基础设施的全面可视性，来增强您的伟大软件背后的人。开始使用LOGIQ PaaS的 免费 社区版，或联系我们以获得演示。
原文发表于 https://logiq.ai 2021年7月24日。
用统一的日志管理优化产品工程工作最初发表在Nerd For Tech的Medium上，在那里人们通过强调和回应这个故事来继续对话。
