Langchain中与模型交互并获得预测结果的方法 | 豆包MarsCode AI刷题

351 阅读4分钟

引言

在ai课程Langchain的开篇词中对于生成text和针对picture生成描述使用了两种方法,这让我对这两种方法以及其他方法和模型的交互以及产生预测结果之间存在什么区别产生了好奇。

在生成text的代码中使用了predict方法,如下图所示

屏幕截图 2024-11-02 164230.png 经过与模型的交互后获得以下结果:

屏幕截图 2024-11-02 164423.png

而针对picture生成中文推广文案的代码中使用了invoke方法,如下图所示: 屏幕截图 2024-11-02 164610.png run之后模型根据图片

屏幕截图 2024-11-02 165008.png 生成以下文案:

屏幕截图 2024-11-02 165018.png 我们可以观察到对于上面两种需求,即生成text和根据图片生成文字,调用模型的方法有所区别。 因此结合与Marscode AI的交互对这几种方法进行了了解。 接下来将从几个方面对交互方法进行介绍:

1.invoke和predict的区别

在LangChain中,invokepredict方法都是用于与模型进行交互并获取预测结果的方法。首先对这两种方法进行简单介绍:

Predict

  1. 定义:predict方法通常用于执行模型的前向传播,即给定输入数据后,模型会基于当前训练状态生成预测结果。
  2. 应用场景:适用于需要对新数据点进行预测的情况,比如分类、回归等任务。
  3. 特点:主要关注于模型的输出,即预测值。 可能会包含一些预处理和后处理逻辑,如数据标准化、概率转换等。在机器学习框架中非常常见,如TensorFlow、PyTorch中的model.predict()方法。

Invoke

  1. 定义:invoke方法一般指调用一个函数或服务,这个函数或服务可以是模型的一部分,也可以是一个完整的模型服务。
  2. 应用场景不仅限于模型预测,还可以用于触发模型训练、评估、更新等操作。
  3. 特点:更加通用,可以用于调用任何可执行的操作。 常见于云服务或微服务架构中,如AWS Lambda、Azure Functions中的函数调用。 可能涉及到更复杂的请求和响应结构,包括元数据、配置信息等。

但它们之间有一些区别:

  1. 使用场景

    • invoke方法通常用于更复杂的交互场景,例如需要传递多个参数或需要处理更复杂的逻辑时。它可以接受多个参数,并返回一个响应对象,其中包含模型的输出和其他可能的元数据。
    • predict方法通常用于简单的预测任务,只需要传递一个输入字符串,并返回模型的预测结果。
  2. 返回值

    • invoke方法返回一个响应对象,其中包含模型的输出和其他可能的元数据。
    • predict方法直接返回模型的预测结果,通常是一个字符串。
  3. 灵活性

    • invoke方法提供了更多的灵活性,可以处理更复杂的交互逻辑。
    • predict方法更简单直接,适用于快速获取模型的预测结果。

在你的代码示例中,使用了predict方法来获取模型的预测结果。如果你需要更复杂的交互逻辑或需要处理多个参数,你可以考虑使用invoke方法。但在这个简单的示例中,predict方法已经足够满足需求。

在LangChain中,除了invokepredict方法之外,还有其他一些方法可以与模型进行交互并获得预测结果。以下是一些常见的方法:

2.其他方法

  1. generate方法

    • 对于文本生成模型,如GPT系列模型,LangChain通常提供一个generate方法。这个方法允许你传入一个或多个文本输入,并生成相应的输出。
    • 例如,如果你有一个ChatOpenAI实例,你可以使用generate方法来生成多个回复。
  2. run方法

    • run方法是LangChain中BaseTool类的一个方法,它用于执行工具的核心功能。在自定义工具类中,你可以实现_run方法来定义工具的具体行为。
    • 例如,在你的ImageCapTool类中,_run方法用于根据传入的图片URL生成图像字幕。
  3. call方法

    • 在某些情况下,你可能需要直接调用模型的call方法。这个方法通常用于更底层的交互,需要你自己处理输入和输出的格式。
    • 例如,如果你有一个自定义的模型类,你可以实现一个call方法来执行模型的前向传播。
  4. __call__方法

    • 类似于call方法,__call__是Python中的一个特殊方法,允许你像调用函数一样调用对象。在LangChain中,一些模型类可能会实现这个方法,以便更方便地进行调用。
  5. apply方法

    • 在某些情况下,你可能需要对一批输入数据应用模型。LangChain中的一些工具或模型可能会提供一个apply方法来实现这个功能。
  6. batch_generate方法

    • 类似于generate方法,batch_generate方法允许你一次性处理多个输入,并生成相应的输出。这个方法通常用于提高效率,尤其是在处理大量数据时。