【翻译】为Rust应用快速地构建体积小的镜像

1,873 阅读7分钟

原文地址

这篇文章我会介绍如何快速为Rust应用体积小的Docker镜像。我会从创建一个小的测试应用开始,然后不断构建迭代Dockerfile

环境要求

首先确保你已经安装了下面的应用:

起步: 创建demo应用

使用rustup进行设置,确保使用最新稳定版的Rust。

rustup default stable
rustup update 

创建一个myapp的新项目

cargo new myapp
cd myapp/ 

起步: 初始化Dockerfile

以下是我们用于docker构建的起点,在当前目录中创建一个名为Dockerfile的文件:

FROM rust:latest

WORKDIR /usr/src/myapp 
COPY . . 
RUN cargo build --release 
RUN cargo install --path . 
CMD ["/usr/local/cargo/bin/myapp"] 

同样创建一个.dockerignore的文件写入以下内容:

target/
Dockerfile 

尝试构建并运行应用:

docker build -t myapp .
docker run --rm -it myapp 

如果一切都能工作的话,你可以在控制台看到Hello, world!

我们初次构建的问题

当我写这篇文章的时候, Rust的包管理器cargo有一个issue是它还没有一个dependencies-only的选项,用来单独构建依赖

cargo缺少这样单独构建依赖的选项使得我们在每次改动src下面的内容时都会重新构建依赖项,但我们只想在Cargo.toml或者Cargo.lock文件改变时才重新构建依赖项,比方说添加或者更新依赖。

另一个问题是,虽然rust:latest Docker镜像非常适合构建,但它的体积相当大,超过1.6GB。

改进构建流程避免src改动重新构建依赖项

为了避免这些问题并且开启docker构建缓存让构建变得更快,首先我们开始改动Cargo.toml来添加一个依赖:

[package]
name = "myapp"
version = "0.1.0"
 [dependencies]
rand = "0.5.5" 

我们添加rand包作为项目依赖,它提供了方便地生成随机数的工具。

现在如果运行:

docker build -t myapp .

它将构建rand依赖关系并将其添加到缓存,但是更改src/main.rs将使得生成的缓存无效:

cat src/main.rs
fn main() {
    println!("I've been updated!");
}
docker build -t myapp . 

请注意,此次构建必须再次重建rand依赖项。

在等待cargo的only-dependencies构建选项时,将任何代码复制到构建环境之前,我们可以通过将Dockerfile更改为默认的src/main.rs来解决此问题:

FROM rust:latest

WORKDIR /usr/src/myapp 
COPY Cargo.toml Cargo.toml 
RUN mkdir src/ 
RUN echo "fn main() {println!(\"if you see this, the build broke\")}" > src/main.rs 
RUN cargo build --release 
RUN rm -f target/release/deps/myapp* 
COPY . . 
RUN cargo build --release 
RUN cargo install --path . 
CMD ["/usr/local/cargo/bin/myapp"] 

上面的Dockerfile中的以下几行将导致Cargo构建时仅重新构建我们的应用程序:

RUN rm -f target/release/deps/myapp*

如果我们构建一次:

docker build -t myapp .

然后对src/main.rs做一点小小的改动:

cat src/main.rs
fn main() {
    println!("I've been updated yet again!");
}

我们将会发现接下来docker只会在我们的应用逻辑改变时重新构建,而依赖项目则被缓存起来用来快速构建。

减小镜像体积

rust:latest镜像具有构建项目所需的所有工具,但它的大小超过1.6GB。我们可以使用Alpine Linux(一种出色的小型Linux发行版)来改善镜像大小。

Alpine团队提供了一个只有几兆字节大小的docker映像,并且仍然具有一些用于调试的shell功能,并且可以用作Rust构建的小型基础镜像。

通过多阶段docker构建,我们可以使用rust:latest来完成构建工作,只需将应用复制到基于alpine:latest的最终构建阶段即可:

# ------------------------------------------------------------------------------
# Cargo Build Stage
# ------------------------------------------------------------------------------

FROM rust:latest as cargo-build

WORKDIR /usr/src/myapp 
COPY Cargo.toml Cargo.toml 
RUN mkdir src/ 
RUN echo "fn main() {println!(\"if you see this, the build broke\")}" > src/main.rs 
RUN cargo build --release 
RUN rm -f target/release/deps/myapp* 
COPY . . 
RUN cargo build --release 
RUN cargo install --path . 
# ------------------------------------------------------------------------------
# Final Stage
# ------------------------------------------------------------------------------

FROM alpine:latest

COPY --from=cargo-build /usr/local/cargo/bin/myapp /usr/local/bin/myapp 
CMD ["myapp"] 

现在如果你运行:

docker build -t myapp .
docker images |grep myapp 

你可以看到这些东西:

myapp   latest    03a3838a37bc    7 seconds ago    8.54MB

下一步:跟进、修复并进一步完善我们的构建

如果你尝试使用docker run --rm -it myapp运行以上示例,则可能会遇到类似下面的错误:

standard_init_linux.go:187: exec user process caused "no such file or directory"

如果您熟悉ldd则可以运行以下命令,以查看我们缺少的应用程序共享库:

docker run --rm -it myapp ldd /usr/local/bin/myapp

在上面的例子中我演示了如何通过避免每次src/main.rs改动重新构建依赖提升构建速度,以及如何将镜像大小从1.6GB+减少到几兆字节,然而我们的构建还是不能生效,因为我们需要针对MUSL Libc进行构建,这是一个轻量级、快速的标准库,在alpine:latest中是默认库。

除此之外,我们还希望确保我们的应用程序以容器内的非特权用户身份运行,从而遵守最小特权原则

为MUSL Libc构建

要针对MUSL libc进行构建,我们需要安装x86_64-unknown-linux-musl构建目标,以便可以将Cargo标记为使用--target为其构建。我们还需要标记Rust使用musl-gcc链接器。

rust:latest镜像预安装rustup。 rustup允许我们使用rustup target add $NAME安装新的构建目标,因此我们可以像这样修改Dockerfile:

# ------------------------------------------------------------------------------
# Cargo Build Stage
# ------------------------------------------------------------------------------

FROM rust:latest as cargo-build

RUN apt-get update 
RUN apt-get install musl-tools -y 
RUN rustup target add x86_64-unknown-linux-musl 
WORKDIR /usr/src/myapp 
COPY Cargo.toml Cargo.toml 
RUN mkdir src/ 
RUN echo "fn main() {println!(\"if you see this, the build broke\")}" > src/main.rs 
RUN RUSTFLAGS=-Clinker=musl-gcc cargo build --release --target=x86_64-unknown-linux-musl 
RUN rm -f target/x86_64-unknown-linux-musl/release/deps/myapp* 
COPY . . 
RUN RUSTFLAGS=-Clinker=musl-gcc cargo build --release --target=x86_64-unknown-linux-musl 
# ------------------------------------------------------------------------------
# Final Stage
# ------------------------------------------------------------------------------

FROM alpine:latest

COPY --from=cargo-build /usr/src/myapp/target/x86_64-unknown-linux-musl/release/myapp /usr/local/bin/myapp 
CMD ["myapp"] 

请注意以下行,它显示了我们为MUSL Libc构建应用程序的新方式:

RUSTFLAGS=-Clinker=musl-gcc cargo build --release --target=x86_64-unknown-linux-mus

重新构建应用程序并运行它:

docker build -t myapp .
docker run --rm -it myapp 

如果一切正常,你应该再次看到应用已被更新了!

以非特权用户身份运行

为了遵循最小特权原则,我们创建一个名为myapp的用户,避免用户以root用户的身份运行应用。

将Final Stage docker build阶段更改为以下内容:

# ------------------------------------------------------------------------------
# Final Stage
# ------------------------------------------------------------------------------

FROM alpine:latest

RUN addgroup -g 1000 myapp 
RUN adduser -D -s /bin/sh -u 1000 -G myapp myapp 
WORKDIR /home/myapp/bin/ 
COPY --from=cargo-build /usr/src/myapp/target/x86_64-unknown-linux-musl/release/myapp . 
RUN chown myapp:myapp myapp 
USER myapp

CMD ["./myapp"] 

更新src/main.rs为:

use std::process::Command;

fn main() {
    let mut user = String::from_utf8(Command::new("whoami").output().unwrap().stdout().unwrap();
    user.pop();
    println!("I've once more been updated, and now I run as the user {}!", user)
} 

现在构建并运行应用:

docker build -t myapp .
docker run --rm -it myapp 

如果一切正常,你应该会看到应用已再次更新,现在应用以用户myapp运行。

最后

现在我们构建应用程序的完整Dockerfile如下所示:

# ------------------------------------------------------------------------------
# Cargo Build Stage
# ------------------------------------------------------------------------------

FROM rust:latest as cargo-build

RUN apt-get update 
RUN apt-get install musl-tools -y 
RUN rustup target add x86_64-unknown-linux-musl 
WORKDIR /usr/src/myapp 
COPY Cargo.toml Cargo.toml 
RUN mkdir src/ 
RUN echo "fn main() {println!(\"if you see this, the build broke\")}" > src/main.rs 
RUN RUSTFLAGS=-Clinker=musl-gcc cargo build --release --target=x86_64-unknown-linux-musl 
RUN rm -f target/x86_64-unknown-linux-musl/release/deps/myapp* 
COPY . . 
RUN RUSTFLAGS=-Clinker=musl-gcc cargo build --release --target=x86_64-unknown-linux-musl 
# ------------------------------------------------------------------------------
# Final Stage
# ------------------------------------------------------------------------------

FROM alpine:latest

RUN addgroup -g 1000 myapp 
RUN adduser -D -s /bin/sh -u 1000 -G myapp myapp 
WORKDIR /home/myapp/bin/ 
COPY --from=cargo-build /usr/src/myapp/target/x86_64-unknown-linux-musl/release/myapp . 
RUN chown myapp:myapp myapp 
USER myapp

CMD ["./myapp"] 

从这里观看有关使用Skaffold在DC / OS上将Rust部署到Kubernetes的演示。利用该演示中的一些技术,你可以将应用程序自动部署到Kubernetes,以使用Skaffold在本地minikube系统上进行测试。

Happy coding!