跳至主要内容

Image Building Tools Comparison

簡介​

在這篇文章中，將會簡介目前常見的五種 Image Building Tools，分別是目前最常見的 Docker 以及新版本內建的 Buildkit、以及常被用在 CICD 過程中的三套 Build tool：Dind(Docker in Docker), Buildah, Kaniko 作比較。

比較這些上述五項 Image Building Tools 在 build image 時所花費的系統資源，如下述三項指標：

  • Memory(有 cache/ 無 cache)
  • Build Time
  • CPU time

並比較 build 完成後，Image Size 是否有所不同，並探討其中的差異。

測試環境​

本次 lab 統一使用 CNTUG Infra Labs OpenStack 上的 VM，規格如下：

  • Linux version: Ubuntu 20.04
  • vCPU: 4 cores
  • RAM：4 G
  • total Disk：30 GB

測試方法會在下方 Labs 區塊中詳述

測試的 Image​

本次 lab 使用 php-fpm 做 image build tool 的數據比較：

image namephp-fpm
versionphp 8.1
base imagealpine 3.16

各項工具簡介​

Docker​

為目前十分常見的 container solution，榮獲 2022 年 Stack Overflow 開發者大調查開發者最愛工具的第一名，功能齊全，在使用上透過 docker 指令進行 container 相關的各種操作。

Buildkit​

Buildkit 為 Docker 推出的實驗性功能，主打更高效能、並行的運作方式，也針對 cache, storage management 等功能做了許多優化，加速了以往使用 Docker build image 的流程以及最佳化使用體驗，預設內建在 Docker 18.09 版本之後的 Docker 內，啟用方式也十分簡易，DOCKER_BUILDKIT=1 docker build . 即可使用，在 MacOS/Linux 環境下，也可透過建立 /etc/docker/daemon.json，並加入以下設定啟用 Buildkit。

{
  "features": {
    "buildkit" : true
  }
}

DinD​

全名為 Docker-in-Docker，顧名思義，在 Docker 中再運行一個 Docker container，因此在運行起來的 container 內，也能執行 docker 指令，通常會在運行 CICD pipeline 時使用，好處是環境隔離，每次會起新的 Docker daemon，但 build 的時候無法共享 cache，但可以透過 cache-from 去指定特定的 image 加入 build 流程。

Buildah​

Buildah 是由 Red Hat 開發，幫助開發者 build 相容 OCI 標準的 container images 的一套工具，在 podman 中預設會安裝 Buildah，但也可以單獨安裝使用，在使用上不須相依於 Dockerfile，而是能指定任意包含 build command 的檔案，可直接掛載 container，並對其內容進行操作，增加使用彈性、安全性。

詳細功能介紹可參考官方 Repo

Kaniko​

可參考之前 Lab 撰寫的 Kaniko 教學，Kaniko 適合在 container 或是 k8s cluster 內 build image。

Labs​

資源計算​

  • CPU：在計算 CPU 使用率的部分，透過 Pseudo-files 的方式，每次在 build image 時，讀取 /sys/fs/cgroup/cpuacct/<TOOL_NAME>/$CONTAINER_ID/cpuacct.usage 去比較 CPU 使用的資源量。
  • Memory：使用 time 指令 /usr/bin/time -v 列出單一指令消耗的資源，每項工具以同樣的 build 指令執行 15 次，比較最大值、最小值、平均值。
  • Image size：在比較過多套 container image 分析工具後，選擇使用 Docker 內建的列出 docker image ls 查看 image size。
  • build time: 使用 time 指令 /usr/bin/time -v 查看其中的 Elapsed (wall clock) time，同樣比較最大值、最小值、平均值。

Docker​

安裝的版本為 20.10.17，主要比較有無 layer caching 的 build process

  • 預設有 cache docker build -t <image-name>:<version> .
  • 不使用 cache docker build -t <image-name>:<version> . --no-cache

DinD​

首先運行一個 dind container，並將 Dockerfile 等內容 mount 到 container 內，並開 shell 進到 dind container 中，再 build image，同樣比較有無 layer caching，此處使用 --cache-from 前面 build 好的 image 以加速 build 流程。

$ docker run -v $PWD:/workspace --privileged -d --name dind-test docker:dind
$ docker exec -it dind-test /bin/sh
$ cd workspace
$ docker build -t <image-name>:<version> .

# build image with cache
$ docker build -t <pre-existing-image-name>:<version> . --cache-from <image-name>:<version>

Buildkit​

啟用 Buildkit 後，再下跟 docker build 一樣的指令即可，如果有下載 Docker Desktop，則預設就會啟用

$ DOCKER_BUILDKIT=1 docker build .

Buildah​

先單獨安裝 Buildah，再下 buildah bud 即可開始 build image

# 安裝 Buildah
$ sudo apt install buildah
# build image
$ buildah bud -t <image-name>:<version> .
# build image with layers cache
$ buildah bud -t <image-name>:<version> --layers .
# 列出 build 好的 image
$ buildah images

Kaniko​

使用 Docker 運行 kaniko v1.8.1 的 container，並將 build 好的 image 推到 Dockerhub 上

$ docker run -v $PWD:/workspace \
  -v ~/.docker/config.json:/kaniko/config.json \
  --env DOCKER_CONFIG=/kaniko gcr.io/kaniko-project/executor:v1.8.1 \
  -d <username>/<image-name>:<version>

測試結果​

CPU Usage​

CPU 資源使用量的部分，如上面 lab 區塊提到，看的檔案是 cpu usage，cpu usage 為 lab 使用的環境：vCPU*4 的資源使用總和，且 build 過程中皆無使用 cache，比較結果如下：

  • 平均/最大/最小使用資源，單位為毫秒 (millisecond) CPU Usage

從上圖可以看到 Kaniko、Buildah 使用的資源低於 Docker，且略勝 Buildkit，以平均使用量來排序： Docker>Dind>Buildkit>Kaniko>Buildah

Memory​

比較所使用的 memory，並分為 build 過程是否有使用 cache，至於 kaniko 的部分因目前尚未實作 local layer caching，因此此處僅計算沒有 cache 的 memory 使用部分。

  • 平均/最大/最小使用資源，單位為 Mib

  • 有 cache

memory Usage

  • 沒有 cache

memory Usage

從上面兩張圖可以看到在有 cache 的情況下，Dind 的記憶體使用率明顯高於其他 build tool，排除 Dind，使用率平均最低的則是 Buildah 接著是 Kaniko。但在沒有 cache 的情況下，Buildah 卻遠高於其他的 build tool。

Build Time​

Build time 的部分同樣比較有無使用 cache 的情況。

在有使用到 build cache 的情況下，Docker/ BuildKit/ Kaniko 都是在一秒內 build 完，Buildah 則是平均 6 秒，因此此處並無製作圖表，僅製作沒有 cache 的情況下花費的時間做比較。

  • 單位為秒

build time

Docker cache 機制​

Dockerfile 中的每條指令可視為一個 layer，在 build 的過程中會比較 Layer 與之前是否相同，若相同在使用 docker build 時會顯示 Using cache 以及使用了哪個 cache，cahce 則會存在 /var/lib/docker/image/overlay2/imagedb/content/sha256 底下，若是使用 BuildKit，則會顯示 CACHED，並拿之前的 build cache 來用，可以大幅減少 build image 的時間，若是 Dockerfile 內容有更改或是使用到的檔案內容有更改就不用使用到 cache，而是會重新 build layer，且後續的 layer 也會需要重新 build，因此在撰寫 Dockerfile 時可以將比較常更改的內容放在 Dockerfile 尾端。

Image Size​

在 image size 的部分則可以發現差別並不大

  • 單位為 MB

image size

各項工具比較​

DinDKanikoBuildahBuildKit
Run without privileged modeXOOO
Local layer cachingXXOO
Remote layer cachingOOOO
Need dockerfileOOXO

小結​

在此次 lab 中，比較了不同 build tool 的資源使用量以及 build 出來的 image size 以及花費的時間，可以發現每個 build tool 各有優缺，也有一些 tool 的資源使用量與想像的有所不同，但無可否認的是這些工具發展十分迅速，在找資料時也發現有些原本被開發人員詬病的特性已經被修掉了，容器安全性的疑慮也有了其他解法，因此，最佳解仍然是根據開發及維運人員的環境及需求去選擇適合的工具。

Reference​