引言:众所周知,对于llm生成文本有几个重要的参数,有些时候我们不想每次的手动调节,而是想要保存成一个配置直接使用。本文将介绍如何将LLM类对象序列化,并将其保存到磁盘中以备将来使用。这对于想要保存给定LLM的配置(例如提供者,温度等)非常有用。
加载
首先,让我们了解如何从磁盘加载LLM。LLM可以以json或yaml两种格式保存在磁盘上。无论扩展名是什么,都可以以相同的方式进行加载。
通过以下代码,我们将LLM从磁盘加载到内存中:
from langchain.llms.loading import load_llm
llm = load_llm("llm.json")
以上代码将LLM从llm.json文件中加载到llm对象中。同样,您也可以从YAML加载LLM文件:
llm = load_llm("llm.yaml")
保存
如果您想将内存中的LLM序列化为json或yaml格式的文件,只需调用.save方法即可:
llm.save("llm.json")
llm.save("llm.yaml")
以上代码将内存中的LLM对象保存到llm.json和llm.yaml文件中。通过这种方式,您可以随时恢复LLM的状态并继续使用它。
今天就写到这里,明天继续连载。