seanmeng2022

https://docs.ray.io/en/latest/serve/getting_started.html https://awslabs.github.io/ai-on-eks/docs/bl

步骤 1：先设置为 preferred 模式 aws elasticache modify-replication-group \ --replication-group-id test \ --tr

参考Blog：https://aws.amazon.com/blogs/aws/introducing-amazon-bedrock-agentcore-securely-deploy-and-ope

参考Blog：https://aws.amazon.com/blogs/aws/introducing-amazon-bedrock-agentcore-securely-deploy-and-ope

AWS AgentCore是一系列服务的组合，包括： AgentCore Runtime – 提供具有会话隔离功能的低延迟无服务器环境，支持任何代理框架（包括流行的开源框架、工具和模型），并处理多模式

创建Notebook所需要的IAM Role 点击创建role Service选择Sagemaker，然后创建 为了便于测试，在刚刚创建好的role中，添加s3和ecr admin policy(生产

KV Cache问题 Transformer架构的self attentin机制，在LLM推理过程中，每一个token都需要与前面的token做注意力机制： “非常”，需要用自己的Q向量与“中国”，“

创建sagemaker domain&profile 直接set up即可 创建profile 点击下一步直到profile创建成功。 通过Jumpstart创建推理endpoint 进入studio

数据文件说明 public_orders中数据文件数量为1000000. public_orders 表和 public_order_items 表之间存在一对多关系。 一个订单可以有多个订单项，但至