前面我們有文章介紹過如何在 Kubernetes 集群中使用 GitLab CI 來實(shí)現(xiàn) CI/CD，在構(gòu)建鏡像的環(huán)節(jié)我們基本上都是使用的 Docker On Docker 的模式，這是因?yàn)?Kubernetes 集群使用的是 Docker 這種容器運(yùn)行時(shí)，所以我們可以將宿主機(jī)的 docker.sock 文件掛載到容器中構(gòu)建鏡像，而最近我們?cè)谑褂?Kubernetes 1.22.X 版本后將容器運(yùn)行時(shí)更改為了 Containerd，這樣節(jié)點(diǎn)上沒有可用的 Docker 服務(wù)了，這個(gè)時(shí)候就需要更改構(gòu)建鏡像的模式了，當(dāng)然要實(shí)現(xiàn)構(gòu)建鏡像的方式有很多，我們這里還是選擇使用 Docker 來構(gòu)建我們的 Docker 鏡像，也就是使用 Docker IN Docker 的模式。

在每次構(gòu)建鏡像的時(shí)候，GitLab Runner 都會(huì)啟動(dòng)一個(gè)包含3個(gè)容器的 Pod，其中一個(gè)就是運(yùn)行 Docker 守護(hù)進(jìn)程的 Docker DIND 容器，構(gòu)建的容器會(huì)去連接到運(yùn)行在同一個(gè) Pod 上的 Docker 守護(hù)進(jìn)程，由于 Pod 中的所有容器共享同一個(gè) network namespace，構(gòu)建鏡像的 Docker CLI 能夠通過 localhost 直接連接到 Docker 守護(hù)進(jìn)程進(jìn)行構(gòu)建。但是這種方式最大的一個(gè)問題是每次構(gòu)建都是啟動(dòng)一個(gè)全新的 Docker 守護(hù)進(jìn)程，造成沒有緩存 Docker layer 層，這會(huì)顯著增加我們的構(gòu)建時(shí)間。

這個(gè)問題的解決方法非常簡單，與其為每個(gè) Pod 運(yùn)行一個(gè) Docker DIND 服務(wù)的 sidecar 容器，不如讓我們運(yùn)行一個(gè)獨(dú)立的 Docker DIND 容器，構(gòu)建容器的所有 Docker CLI 都連接到這個(gè)一個(gè) Docker 守護(hù)進(jìn)程上，這個(gè)時(shí)候我們將 Docker layer 層進(jìn)行持久化，也就起到了緩存的作用了。

首先創(chuàng)建一個(gè) PVC 來存儲(chǔ) Docker 的持久化數(shù)據(jù)，為了性能考慮，這里我們使用的是一個(gè) Local PV：

1. apiVersion: storage.k8s.io/v1
2. kind: StorageClass
3. metadata:
4. name: local-volume
5. provisioner: kubernetes.io/no-provisioner
6. reclaimPolicy: Delete
7. volumeBindingMode: WaitForFirstConsumer
9. ---
10. apiVersion: v1
11. kind: PersistentVolume
12. metadata:
13. name: docker-pv
14. spec:
15. capacity:
16. storage: 5Gi
17. accessModes:
18. - ReadWriteOnce
19. persistentVolumeReclaimPolicy: Retain
20. storageClassName: local-volume
21. local:
22. path: /mnt/k8s/docker # 數(shù)據(jù)存儲(chǔ)的目錄
23. nodeAffinity:
24. required:
25. nodeSelectorTerms:
26. - matchExpressions:
27. - key: kubernetes.io/hostname
28. operator: In
29. values:
30. - node1 # 運(yùn)行在node1節(jié)點(diǎn)
31. ---
32. apiVersion: v1
33. kind: PersistentVolumeClaim
34. metadata:
35. labels:
36. app: docker-dind
37. name: docker-dind-data
38. namespace: kube-ops
39. spec:
40. accessModes:
41. - ReadWriteOnce
42. storageClassName: local-volume
43. resources:
44. requests:
45. storage: 5Gi

然后使用 Deployment 部署一個(gè) Docker DIND 服務(wù)：

1. apiVersion: apps/v1
2. kind: Deployment
3. metadata:
4. name: docker-dind
5. namespace: kube-ops
6. labels:
7. app: docker-dind
8. spec:
9. selector:
10. matchLabels:
11. app: docker-dind
12. template:
13. metadata:
14. labels:
15. app: docker-dind
16. spec:
17. containers:
18. - image: docker:dind
19. name: docker-dind
20. args:
21. - --registry-mirror=https://ot2k4d59.mirror.aliyuncs.com/ # 指定一個(gè)鏡像加速器地址
22. env:
23. - name: DOCKER_DRIVER
24. value: overlay2
25. - name: DOCKER_HOST
26. value: tcp://0.0.0.0:2375
27. - name: DOCKER_TLS_CERTDIR # 禁用 TLS
28. value: ""
29. volumeMounts:
30. - name: docker-dind-data-vol # 持久化docker根目錄
31. mountPath: /var/lib/docker/
32. ports:
33. - name: daemon-port
34. containerPort: 2375
35. securityContext:
36. privileged: true # 需要設(shè)置成特權(quán)模式
37. volumes:
38. - name: docker-dind-data-vol
39. persistentVolumeClaim:
40. claimName: docker-dind-data

然后創(chuàng)建一個(gè) Service 以方便構(gòu)建的 Docker CLI 與其連接：

1. apiVersion: v1
2. kind: Service
3. metadata:
4. name: docker-dind
5. namespace: kube-ops
6. labels:
7. app: docker-dind
8. spec:
9. ports:
10. - port: 2375
11. targetPort: 2375
12. selector:
13. app: docker-dind

將 Docker DIND 服務(wù)部署完成后，我們就可以在 Gitlab CI 中使用這個(gè)守護(hù)程序來構(gòu)建鏡像了，如下所示：

1. tages:
2. - image
4. build_image:
5. stage: image
6. image: docker:latest
7. variables:
8. DOCKER_HOST: tcp://docker-dind:2375 # 通過 service dns 形式連接 docker dind 服務(wù)
9. script:
10. - docker info
11. - docker build -t xxxx .
12. - docker push xxxx
13. only:
14. - tags

由于我們緩存了 Docker layer 層，這個(gè)時(shí)候構(gòu)建的速度會(huì)明顯提升。最后隨著鏡像的大量構(gòu)建會(huì)產(chǎn)生很多鏡像數(shù)據(jù)，我們可以寫一個(gè) Cronjob 用來定時(shí)清除緩存：

1. apiVersion: batch/v1
2. kind: CronJob
3. metadata:
4. name: docker-dind-clear-cache
5. namespace: kube-ops
6. spec:
7. schedule: 0 0 * * 0 # 每周清理一次
8. jobTemplate:
9. metadata:
10. labels:
11. app: docker-dind
12. name: docker-dind-clear-cache
13. spec:
14. template:
15. spec:
16. restartPolicy: OnFailure
17. containers:
18. - name: clear-cache
19. image: docker:latest
20. command:
21. - docker
22. - system
23. - prune
24. - -af
25. env:
26. - name: DOCKER_HOST
27. value: tcp://docker-dind:2375

原文鏈接：https://mp.weixin.qq.com/s/rn2xm8YMCW_6JoPljyto9g