最近,AWS宣布了对 Amazon 弹性 Kubernetes 服务(即 Amazon Elastic Kubernetes Service, Amazon EKS 上的 Amazon EMR 提供的可定制图像支持,允许客户修改Docker运行时图像,在EKS集群上使用Apache Spark运行其分析应用程序。
之前在AWS re:Invent 2020上,AWS 宣布 Amazon EMR on EKS 普遍可用,这 是Amazon EMR 的新部署选项,允许客户在Amazon EKS上自动配置和管理Apache Spark。
现在,还增加了可定制的图像支持,允许客户使用自己的持续集成(CI)管道,在性能优化的EMR Spark运行时的基础上,创建一个包含其应用程序及其依赖的容器。
在EKS上利用亚马逊EMR的组织的数据工程师可以创建一个基本镜像,添加他们的企业标准库,并将其存储在亚马逊弹性容器注册中心(Amazon ECR)。随后,他们可以自定义镜像,以包括他们的应用程序特定的依赖 - 由此产生的不可变的镜像可以进行漏洞扫描,并部署到测试和生产环境。
有了可定制的镜像支持,AWS实现了客户使用EMR和EKS上预建的容器镜像运行Apache Spark作业的愿望。AWS负责分析的首席开发者倡导者Damon Cortesi在最近关于AWS在Kubernetes上为Apache Spark构建自定义镜像的视频中说。
当我们发布这个功能时,我们从客户那里听到的第一件事是,他们想定制这些容器镜像。无论是不同的依赖关系,还是改变一些环境变量或类似的东西。所以他们希望有一种方法,可以利用我们提供的基本镜像,并在上面做一些修改。因此,我们所做的是允许创建独立的不可变的容器镜像,作为你CI过程的一部分,以简化应用开发。
原文链接:AWS Announces Customizable Image Support for Amazon EMR on EKS (infoq.com)