一、背景介紹
在互聯網應用快速更新迭代的大背景下，傳統的人工手動或簡單腳本已經不能適應此變化，此時devops為我們提供了良好的解決方案，應用好ci/cd可以大大的方便我們的日常工作，自動化快速的持續集成/持續交付為我們帶來了應用開放的更快速度、更好的穩定性和更強的可靠性。
二、拓撲環境
2.1 架構拓撲
如上圖實例，簡單花了下流程拓撲：
- 當研發push本地代碼到gitlab-server后，webhook自動觸發jenkins構建應用
- 在docker host上部署應用git clone來自gitlabserver源碼，并啟動應用
- 前端可以放置lb來做高可用
- 數據庫連接云數據庫
- 可將日志存儲在log后期投遞到elk實現日志可視化
- 構建完成郵件通知相關人員（測試或開放）
2.2 系統軟件版本
| 名稱 | 版本 |
|---|---|
| linux系統 | centos7.3 64位 |
| docker | 1.13 |
| django | 2.0 |
三、安裝部署
3.1 jenkins安裝部署
jenkins安裝部署可參考：jenkins筆記
安裝完成后添加docker目標服務器
配置郵件發送服務器
3.2 docker安裝部署
docker安裝部署及dockerfile編寫可參考：容器docker詳解
3.3 gitlab安裝部署
gitlab安裝在公網linux服務器運行一些命令即可，如果沒有公網需要手動修改 /etc/gitlab/gitlab.rb 文件的 external_url 'http://自己的內網ip'
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
yum install -y libsemanage-static libsemanage-devel policycoreutils openssh-server openssh-clients postfixsystemctl enable postfix && systemctl start postfixwget https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/gitlab-ce-8.0.0-ce.0.el7.x86_64.rpmrpm -i gitlab-ce-8.0.0-ce.0.el7.x86_64.rpm# 獲取公網ippublicip=$(curl http://ipv4.icanhazip.com)# 修改sed -i "s/gitlab-server/${publicip}/g" /etc/gitlab/gitlab.rbgitlab-ctl reconfiguregitlab-ctl restartecho "username:root"echo "password:5ivel!fe" |
3.4 配置發布流程
jenkins新建構建一個自由風格的軟件項目
利用參數化構建方便后續部署docker傳入映射的源端口和release
源代碼來自gitlab的django項目
利用webhook關聯gitlab和jenkins
jenkins安裝插件：
生成隨機token值
將jenkins生成的gitlab webhook url配置到gitlab
當開發者在本地push代碼后自動觸發jenkins構建項目，有dockerfile內寫的git pull代碼，再次不用將代碼由jenkins分發到docker宿主機，jenkins作為觸發docker構建使用
配置構建完成后的郵件
郵件模版，郵件類型選擇：
內容類型選擇：html
郵件主題填寫： 構建通知:${build_status} - ${project_name} - build # ${build_number} !
構建通知模版：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
|
<!doctype html><html><head><meta charset="utf-8"><title>${env, var="job_name"}-第${build_number}次構建日志</title></head><body leftmargin="8" marginwidth="0" topmargin="8" marginheight="4" offset="0"> <table width="95%" cellpadding="0" cellspacing="0" style="font-size: 11pt; font-family: tahoma, arial, helvetica, sans-serif"> <tr> <td>(本郵件是程序自動下發的，請勿回復！)</td> </tr> <tr> <td><h2> <font color="#0000ff">構建結果 - ${build_status}</font> </h2></td> </tr> <tr> <td><br /> <b><font color="#0b610b">構建信息</font></b> <hr size="2" width="100%" align="center" /></td> </tr> <tr> <td> <ul> <li>項目名稱 ： ${project_name}</li> <li>構建編號 ： 第${build_number}次構建</li> <li>svn 版本： ${svn_revision}</li> <li>觸發原因： ${cause}</li> <li>構建日志： <a href="${build_url}console">${build_url}console</a></li> <li>構建 url ： <a href="${build_url}">${build_url}</a></li> <li>工作目錄 ： <a href="${project_url}ws">${project_url}ws</a></li> <li>項目 url ： <a href="${project_url}">${project_url}</a></li> </ul> </td> </tr> <tr> <td><b><font color="#0b610b">changes since last successful build:</font></b> <hr size="2" width="100%" align="center" /></td> </tr> <tr> <td> <ul> <li>歷史變更記錄 : <a href="${project_url}changes">${project_url}changes</a></li> </ul> ${changes_since_last_success,reverse=true, format="changes for build #%n:<br />%c<br />",showpaths=true,changesformat="<pre>[%a]<br />%m</pre>",pathformat=" %p"} </td> </tr> <tr> <td><b>failed test results</b> <hr size="2" width="100%" align="center" /></td> </tr> <tr> <td><pre style="font-size: 11pt; font-family: tahoma, arial, helvetica, sans-serif">$failed_tests</pre> <br /></td> </tr> <tr> <td><b><font color="#0b610b">構建日志 (最后 100行):</font></b> <hr size="2" width="100%" align="center" /></td> </tr> <!-- <tr> <td>test logs (if test has ran): <a href="${project_url}ws/testresult/archive_logs/log-build-${build_number}.zip">${project_url}/ws/testresult/archive_logs/log-build-${build_number}.zip</a> <br /> <br /> </td> </tr> --> <tr> <td><textarea cols="80" rows="30" readonly="readonly" style="font-family: courier new">${build_log, maxlines=100}</textarea> </td> </tr> </table></body></html> |
觸發類型可根據自身需要填寫，這里填寫always無論成功還是失敗都發送郵件
查看遠程docker服務器內的文件
django部署已經利用conda打包好了項目的python3.6的環境包自制了docker鏡像
之前利用的是純凈的python3.6系統，在每次構建的時候利用pip安裝requirements.txt的模塊，但是長此以往由于環境變化很少，每次需要pip安裝耗時，所以利用conda將打包好的python環境自制成定制化環境，以此來減少環境部署時間，也可以通過docker鏡像制作是-v參數將本地磁盤掛載在環境內，每次構建本地的conda即可，完成快速環境部署。
查看dockerfile
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
from 87a69025db6amaintainer kaliarch# 定義docker中工作目錄env work_dir /work/# 創建docker內工作目錄run mkdir $work_dir# 定義映射端口expose 80workdir $work_dir run git clone http://123.xxxx.xxxxx.245/devops/go2cloud.git# 添加啟動服務腳本add *.sh ${work_dir}cmd `which bash` /work/start_all.sh && tail -f /work/logs/server-$(date +%f).log |
查看django啟動腳本
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
|
#!/bin/bashbasepath=$(cd `dirname $0`;pwd)py_cmd=/python3/bin/python# 服務入口文件#main_app=${basepath}/go2cloud/manage.py # 遷移腳本入口文件scripts_app=${basepath}/go2cloud/scripts/migrate_task_schdule.py# 刪除腳本入口文件delete_app=${basepath}/go2cloud/scripts/delete_transfer_server.py# 日志目錄log_dir=${basepath}/logs/[ ! -d ${log_dir} ] && mkdir ${log_dir}# 啟動服務#nohup ${py_cmd} -u ${main_app} runserver 0.0.0.0:80 >> ${log_dir}server-$(date +%f).log 2>&1 &# 啟動腳本遷移調度腳本echo "---------$0 $(date) excute----------" >> ${log_dir}task-script-$(date +%f).lognohup ${py_cmd} -u ${scripts_app} >> ${log_dir}script-$(date +%f).log 2>&1 &# 啟動遷移刪除腳本echo "---------$0 $(date) excute----------" >> ${log_dir}delete-script-$(date +%f).lognohup ${py_cmd} -u ${delete_app} >> ${log_dir}delete-script-$(date +%f).log 2>&1 & |
查看jenkins部署腳本
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
#!/bin/bashrelease=$1port=$2basepath=$(cd `dirname $0`;pwd)# 構建go2cloud-platform 鏡像cd /dockerworkdocker build -t go2cloud-platform-mini:$release .imgname=$(docker images|awk -v release=$release '{if($1=="go2cloud-platform-mini" && $2==release) print $3}')echo $imgname# 啟動容器docker run -d -p ${port}:80 -v /testlog/:/work/logs ${imgname} |
利用-v參數將日志持續化存儲到docker 宿主機之上
四、測試展示
4.1 測試構建
手動構建測試
4.2 查看log
4.3 查看docker容器
4.4 測試app
五、反思改進
- 目前數據庫連接的為云服務器搭建的數據庫，后期數據庫也利用docker，多組采用docker-compose統一部署管理
- 后期可以利用利用公有云k8s集群進行方便測試
- 目前docker容器產生的日志在docker宿主機上，后期可以將其存儲在cos上，再投遞到elk集群日志可視化處理
- 將鏡像統一管理制作本地鏡像倉庫
- gitlab添加code review并結合自動測試
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持服務器之家。
原文鏈接：http://blog.51cto.com/kaliarch/2337551
