利用镜像缓存
- 自动创建:创建ECI Pod时,若开启了自动匹配ImageCache,系统会在未匹配到的情况下,自动创建一个ImageCache,后续可使用该ImageCache加速创建使用同一镜像的ECI Pod。
- 手动创建:如果业务首次创建Pod就需要加速,可在创建Pod前,手动编写YAML来创建ImageCache。
TG:@yunlaoda360
使用数据缓存
- 原理:将大模型从应用镜像里剥离出来,借助数据缓存提前拉取模型数据,然后在部署应用时直接挂载模型数据,免去在实例中拉取模型数据的等待时间。
- 示例:如部署DeepSeek-R1系列模型时,通过数据缓存功能,可节约镜像拉取和模型下载的时间,加速应用部署。
结合云效流水线
- 自动构建与更新:借助弹性伸缩服务集成的云效流水线功能,在更新业务代码后,可在伸缩组一键完成镜像的构建、更新和部署。
- 具体流程:云效流水线将代码仓库的代码打包构建成Docker镜像,发布到容器镜像仓库(ACR),再通过系统运维管理(OOS),将镜像更新到伸缩组实例中。
与Kubernetes集群对接
- ACK Serverless集群:通过阿里云ACK Serverless集群部署业务,支持基于Kubernetes的容器服务全托管,底层Pod资源全部使用ECI承载。
- ACK集群:为ACK集群提供额外的海量弹性能力,借助ECI的弹性能力轻松应对突发业务流量。
- 自建Kubernetes集群:通过Virtual Kubelet对接在ECS上或者线下IDC自建的Kubernetes集群,提供方便快捷的计算资源。
使用OpenAPI或控制台
- OpenAPI:通过OpenAPI将ECI接入已有业务系统,根据需要低成本地随时创建或释放ECI容器,无需担心并发和容量。
- 控制台:适合新手用户,可通过界面直观快速地创建ECI实例,体验ECI的容器运行能力。
配置弹性伸缩
- 自动扩容:根据业务流量自动对业务进行扩容,无需人工干预,避免流量激增扩容不及时导致系统故障,以及平时大量闲置资源造成的浪费。
- 成本优化:结合弹性伸缩,可根据流量动态使用资源,按需付费,实现精细化应用伸缩,降低成本。