Langchain(九)进阶之保存和加载llm模型参数的配置

915 阅读1分钟

引言:众所周知,对于llm生成文本有几个重要的参数,有些时候我们不想每次的手动调节,而是想要保存成一个配置直接使用。本文将介绍如何将LLM类对象序列化,并将其保存到磁盘中以备将来使用。这对于想要保存给定LLM的配置(例如提供者,温度等)非常有用。

加载

首先,让我们了解如何从磁盘加载LLM。LLM可以以json或yaml两种格式保存在磁盘上。无论扩展名是什么,都可以以相同的方式进行加载。

通过以下代码,我们将LLM从磁盘加载到内存中:


from langchain.llms.loading import load_llm

llm = load_llm("llm.json")

以上代码将LLM从llm.json文件中加载到llm对象中。同样,您也可以从YAML加载LLM文件:


llm = load_llm("llm.yaml")

保存

如果您想将内存中的LLM序列化为json或yaml格式的文件,只需调用.save方法即可:


llm.save("llm.json")

llm.save("llm.yaml")

以上代码将内存中的LLM对象保存到llm.jsonllm.yaml文件中。通过这种方式,您可以随时恢复LLM的状态并继续使用它。

今天就写到这里,明天继续连载。