我很高兴地宣布我的第一个 npm 包slimcontext正式发布!它是一款轻量级、模型无关的聊天记录压缩工具,旨在让你的 AI 代理的对话保持清晰高效。
问题 我们都经历过这种情况。你正在构建一个 AI 代理,随着对话时间的延长,模型开始“忘记”关键细节,性能下降。虽然大型上下文窗口很棒,但它们并非灵丹妙药。向模型输入大量未经处理的提示仍然会很慢且效率低下。关键在于明智地选择在上下文中包含哪些内容。
解决方案 这就是slimcontext的用武之地。它可以帮助您以编程方式压缩对话历史记录,使其保持简洁,同时保留重要的上下文。它设计简洁灵活,允许您“自带模型”(BYOM)。
主要特点 修剪策略:根据模型的最大标记和指定的阈值进行标记感知修剪。 总结策略:使用您自己的聊天模型对旧消息进行标记感知总结。 与框架无关:插入任何实现最小invoke()接口的模型包装器。 可选的 LangChain 适配器:包括一个一键调用助手,可轻松压缩BaseMessage历史记录。 开始 您可以slimcontext从 npm 安装:
npm install slimcontext 要查看实际效果,请查看GitHub 仓库中使用 OpenAI 的完整“前后”示例slimcontext。这些示例演示了如何在保持对话流畅的同时显著减少令牌数量。
我还写了一篇博客文章,详细介绍了各种slimcontext可以帮助你的消息历史记录汇总策略。你可以在这里查看:消息历史记录汇总策略。
查看并贡献! 我很期待你试用slimcontext,并告诉我你的想法!欢迎任何反馈。
npm 包: www.mxwd.cc
这是我的第一个软件包,我很高兴看到它能够帮助到其他人。非常欢迎大家贡献代码!如果您对新功能或改进有任何想法,欢迎随时提交问题或拉取请求。