如何使用Fiddler实现企业级ML部署监控与分析Fiddler连接详细信息在使用Fiddler管理模型之前，您需要以

# 引言

在企业级机器学习部署中，监控和优化模型的表现至关重要。Fiddler作为先驱，提供了一个统一的平台，帮助数据科学、MLOps、风险、合规、分析和其他业务团队进行模型的监控、解释、分析和改进。本文将指导您如何使用Fiddler与LangChain和OpenAI集成，监控和分析机器学习模型的部署。

# 主要内容

## 安装与设置

要开始使用Fiddler，请确保安装以下Python库：

```bash
#!pip install langchain langchain-community langchain-openai fiddler-client

Fiddler连接详细信息

在使用Fiddler管理模型之前，您需要以下信息：

Fiddler实例的URL
您的组织ID
认证令牌

这些信息可以在Fiddler环境的设置页面找到。

URL = "https://demo.fiddler.ai"  # 使用完整URL，包括https://
ORG_NAME = ""  # 您的组织名称
AUTH_TOKEN = ""  # 您的Fiddler认证令牌

PROJECT_NAME = ""  # 项目名称
MODEL_NAME = ""  # 模型名称

创建Fiddler回调处理器实例

from langchain_community.callbacks.fiddler_callback import FiddlerCallbackHandler

fiddler_handler = FiddlerCallbackHandler(
    url=URL,
    org=ORG_NAME,
    project=PROJECT_NAME,
    model=MODEL_NAME,
    api_key=AUTH_TOKEN,
)

使用Fiddler API代理服务

由于某些地区的网络限制，开发者可能需要通过API代理服务提高Fiddler访问的稳定性。可以考虑自行配置或选择合适的API代理服务。

代码示例

示例1：基本调用链

from langchain_core.output_parsers import StrOutputParser
from langchain_openai import OpenAI

# 确保在环境变量中设置了OpenAI API密钥
llm = OpenAI(temperature=0, streaming=True, callbacks=[fiddler_handler])
output_parser = StrOutputParser()

chain = llm | output_parser

# 调用链条，所有调用都会记录到Fiddler，自动生成指标
chain.invoke("How far is the moon from the earth?")

示例2：带提示模板的调用链

from langchain_core.prompts import (
    ChatPromptTemplate,
    FewShotChatMessagePromptTemplate,
)

examples = [
    {"input": "2+2", "output": "4"},
    {"input": "2+3", "output": "5"},
]

example_prompt = ChatPromptTemplate.from_messages(
    [
        ("human", "{input}"),
        ("ai", "{output}"),
    ]
)

few_shot_prompt = FewShotChatMessagePromptTemplate(
    example_prompt=example_prompt,
    examples=examples,
)

final_prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "You are a wondrous wizard of math."),
        few_shot_prompt,
        ("human", "{input}"),
    ]
)

# 确保在环境变量中设置了OpenAI API密钥
llm = OpenAI(temperature=0, streaming=True, callbacks=[fiddler_handler])

chain = final_prompt | llm

# 调用链条，日志记录到Fiddler，并自动生成指标
chain.invoke({"input": "What's the square of a triangle?"})

常见问题和解决方案

API访问慢或不稳定：可以考虑使用API代理服务来提高连接的稳定性。
认证失败：请确认您的认证令牌和组织ID正确无误。

总结和进一步学习资源

通过本文的介绍，您应该能够成功地使用Fiddler与LangChain和OpenAI集成，实现机器学习模型的监控与分析。想要进一步学习，可以参考以下资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---