如何瘦身docker镜像

2021-09-09 21:44

docker

容器化部署已经成为现在的主流，打包 docker 镜像已经是现代前端开发的必修课了。最近正好在做新项目的时候处理过相关事情，所以记录一下。

# docker 部署的需求

首先我们需要使用 docker 完成网站源代码的编译，并且还要自己使用 expressjs (opens new window) 搭建服务器。让网站可以运行，docker 跑起来之后只用负责端口转发即可。

大家都知道前端网站编译需要安装很多依赖，但这些依赖在网站运行的时候并不需要。那如何才能做到，编译之后丢弃这些不用的依赖呢？我一开始尝试主动删除，但发现并没有减少 docker 的大小。

答案是Use multi-stage builds (opens new window)

# 编译网站

首先我们需要安装依赖并编译网站，dockerfile 内容如下：

FROM node:14.17.5-buster-slim as build
ARG GITHUB_PACKAGES_TOKEN
RUN apt-get update && apt-get install -y --no-install-recommends autoconf automake g++ libpng-dev make

# use changes to package.json to force Docker not to use the cache
# when we change our application's nodejs dependencies:
COPY package.json yarn.lock /tmp/
RUN echo $GITHUB_PACKAGES_TOKEN
RUN cd /tmp && yarn install --forzen-lockfile --production=false
RUN mkdir -p /app && mv /tmp/node_modules /app
# From here we load our application's code in, therefore the previous docker
# "layer" thats been cached will be used if possible
WORKDIR /app
COPY . /app
ENV NODE_ENV production
RUN yarn build && yarn express:build

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

上面的命令编译了网站和 express 服务端代码，这里选择的 node 官方镜像并不是精简版，因为编译的时候需要很多依赖，精简版的话反而安装系统依赖更花时间。

# 安装依赖

网站运行并不需要 node_modules 但是 express 服务器是需要的，所以我们需要安装后端的依赖。

FROM node:14.17.5-alpine3.14 as deps

# use changes to package.json to force Docker not to use the cache
# when we change our application's nodejs dependencies:
COPY server/package.json server/yarn.lock /tmp/
RUN cd /tmp && yarn install --forzen-lockfile --production=false

1
2
3
4
5
6

服务端的 package.json 文件我放在了 server 文件夹下，服务端依赖的东西很少，所以不太占用空间。

# 打包实际生成的文件

FROM node:14.17.5-alpine3.14
WORKDIR /app
COPY . /app
COPY --from=deps /tmp/node_modules ./node_modules/
COPY --from=build /app/dist ./dist/
COPY --from=build /app/server ./server/

1
2
3
4
5
6

接下来的步骤很简单了，选择占用空间最小的 Alpine Linux 然后把编译好的文件复制进来就可以了。前两个步骤的所有东西都会被丢弃掉。所以实际生成的 docker 镜像会非常小。

# 总结

采用多阶段编译，可以有效的减少编译的依赖对空间的占用，做到最小化 docker 镜像。

# 参考

3 simple tricks for smaller Docker images (opens new window)

使用Docker运行node项目

2019-09-23 22:43

docker

使用 Docker 容器化开发和部署，是当今的主流。因为程序跑在了容器之内，我们再也不用担心安装各种依赖和版本管理。接下来就来介绍如何使用 Docker 开发自己的 node 项目。

# 使用 docker-compose 管理多个 Docker

很多情况下，一个 Docker 是满足不了需求的，有时候还要使用 MySQL 数据库，有时候还要使用 redis。这时候就需要使用 docker-compose 来管理多个 Docker。docker-compose 的使用也很简单，只要在项目根目录下建立一个docker-compose.yml文件即可。关于 YAML 的学习，可以参考Learn YAML in five minutes! (opens new window)。

# docker-compose 内容定义

首先我们需要声明版本号version，不同的 Docker 版本对 docker-compose 的版本支持也不一样，可以参考官方的文档进行对照 (opens new window)。然后声明services，service 下的每一个声明都是一个 Docker 的实例。下面介绍一个实际例子：

version: '3.7'
services:
  pg:
    image: postgres:9.5
    ports:
      - '${DB_EXPORT_PORT-54320}:5432'
    environment:
      POSTGRES_USER: '${DB_USER-postgres}'
      POSTGRES_PASSWORD: '${DB_PASS-123456}'
      POSTGRES_DB: '${DB_NAME-dmhy_indexer}'

  main:
    build: .
    cap_add:
      - SYS_ADMIN # ref https://github.com/GoogleChrome/puppeteer/blob/v1.12.1/docs/troubleshooting.md#running-puppeteer-in-docker
    image: 'indexer'
    command: yarn start
    ports:
      - '9229:9229'
    environment:
      INDEXER_MODE: '${INDEXER_MODE-dmhy}'
      DB_HOST: '${DB_HOST-pg}'
      DB_PORT: '${DB_PORT-5432}'
      DB_USER: '${DB_USER-postgres}'
      DB_NAME: '${DB_NAME-dmhy_indexer}'
      DB_PASS: '${DB_PASS-123456}'
    volumes:
      - '.:/irohalab/indexer'
      - '/irohalab/indexer/node_modules'
      - '/irohalab/indexer/dist'
    depends_on:
      - pg

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

这个配置来源于indexer (opens new window)。我们定义了两个 Service。第一个是数据库 Postgres，第二个便是我们的主项目。首先，我们来看数据库配置，声明了使用官方的postgres:9.5镜像，并映射数据库 5432 端口到主机。这里${DB_EXPORT_PORT-54320}的意思是读取环境变量DB_EXPORT_PORT，如果没有的话就使用默认值54320，这也是 YAML 语法的一部分。接下来又定义了数据库启动需要的环境变量参数。

重点是配置的 main 项目，由于 main 项目使用了自定义的 Dockerfile，所以我们需要结合 Dockerfile 的配置来讲述。

FROM node:10.16.3-stretch
RUN apt-get update -qq && apt-get install -y gconf-service libasound2 libatk1.0-0 libatk-bridge2.0-0 libc6 libcairo2 libcups2 libdbus-1-3 libexpat1 libfontconfig1 libgcc1 libgconf-2-4 libgdk-pixbuf2.0-0 libglib2.0-0 libgtk-3-0 libnspr4 libpango-1.0-0 libpangocairo-1.0-0 libstdc++6 libx11-6 libx11-xcb1 libxcb1 libxcomposite1 libxcursor1 libxdamage1 libxext6 libxfixes3 libxi6 libxrandr2 libxrender1 libxss1 libxtst6 ca-certificates fonts-liberation libappindicator1 libnss3 lsb-release xdg-utils wget
WORKDIR /irohalab/indexer
RUN chown -R node:node /irohalab/indexer
RUN usermod -a -G audio,video node
USER node
COPY package.json yarn.lock ./
RUN yarn install
RUN mkdir dist
COPY . .

1
2
3
4
5
6
7
8
9
10

Dockerfile 的第一句话一定是 FROM，代表着是基于哪个官方镜像来自定义。我们基于 node 的 10.16.3 版本来定制镜像，第一步是安装项目额外需要的依赖，第二步是设定工作目录。由于当前项目需要非 root 权限的用户来运行，所以我们需要之后改变权限，ndoe 镜像官方提供了非 root 用户node，所以我们就把工作目录的权限改成了node。接下来是添加到需要的组，之后就是切换用户到node。切换之前默认 Docker 是使用 root 权限运行的，切换之后就是node用户了，我们 copy 需要的文件之后，执行yarn install来安装，由于存在主机是 Mac，但是 Docker 是 Linux 的情况，所以主机的node_modules并不能直接用，所以我们需要在 Docker 中安装依赖。接下来又创建了一个 dist 目录，然后复制了整个项目。为什么创建dist目录接下来要讲。

# 使用非 root 权限运行

这部分是 Docker 配置最折腾的地方。因为 Docker 默认是用 root 权限运行的，所以切换到非 root 权限执行程序就会经常遇到 permission denied 的问题。接下来就要讲述 main 部分的配置参数，build: .在当前目录下 build，就是寻找当前目录下的 Dockerfile 并进行 build，cap_add参数是添加Linux capabilities。这部分可以参考Runtime privilege and Linux capabilities (opens new window)。之所以添加是因为puppeteer (opens new window)需要，apt-get 安装的依赖也是。重点是volumes配置，第一行代表当前目录映射到/irohalab/indexer也就是我们设定的工作目录位置。第二行和第三行是为了移除对node_modules文件夹和dist文件夹的映射。但如果 Docker 里没有这两个文件夹就会由 root 来创建，所以我才特地mkdir dist。否则普通用户又会没有权限了。depends_on代表当前镜像的依赖，同时声明依赖之后，Docker 内部之间可以通讯，主机名就是services里定义的名字。

# 使用 dockerignore

dockerignore 和 gitignore 的用法非常类似，当指定了某些文件或文件夹的时候，在执行 COPY 等命令的时候就会忽略这些文件或文件夹。

# 清理 Docker

由于开发过程中各种调试和重新 build，导致产生的无用的镜像数据特别多，所以需要经常清理。官方文档有详细的清理说明 (opens new window)。

$ docker image prune -a
$ docker system prune --volumes

1
2

第一个命令会清除所有的镜像，不管有没有使用。第二个命令会清除所有不相关或不使用的 Docker 数据。

# 总结

Docker 很强大，但是用起来也没有那么容易。需要不断的尝试，去摸索各种选项的配置和使用。

# 引用

Containerizing a Node.js Application for Development With Docker Compose (opens new window)

How To Build a Node.js Application with Docker (opens new window)

Add a volume to Docker, but exclude a sub-folder (opens new window)

.dockerignore file (opens new window)