背景
使用的特定的設備進行深度學習模型的推理，該機器僅僅提供了C++封裝好的API進行模型的加載啟動與推理，模型的訓練依然是使用caffe，模型需要轉化成該設備支持的格式，模型的轉化這里就不在介紹。為了把模型的推理做成一種服務，只能上手C++，搭建HTTP服務，使得用戶通過http服務post一張圖片，服務器啟動模型推理，實現模型的預測，并把結果返回給客戶端。
整體框架
服務短的服務內容就是對接收的圖片進行預處理，然后進行模型的推理，目前需要做的一點就是引入HTTP服務
前期調研
對于一個C++新手，前期調研當然是先進行搜索，http server c++搜處理的結果也是五花八門，有的是教你如何通過實現一個http服務器,有的是一個用第三方庫，有的是直接懟一堆代碼。。。知道在stackoverflow上看到了：
why not try NGINX with fcgi-function mapping?
實現步驟
nginx這個是做代理的神器，做負載均衡的時候也經常用，只要我的客戶端的內容發送的nginx上，然后nginx把數據轉發給fcgi相關的應用就可以，我需要做的就是把fcgi和我的推理程序結合起來就可以。
nginx
簡單說nginx就是中間商，客戶端把請求發給中間商，中間商去貨源地把貨拿上，讓后給客戶回應：
客戶告訴nginx 我要購買**商品，nginx就去對于的服務提供商取出對于服務并把它返回給客戶。
目前需要的就是實現fcgi 部分，那么什么是fcgi?
cgi
通用網關接口（Common Gateway Interface/CGI）是一種重要的互聯網技術，可以讓一個客戶端，從網頁瀏覽器向執行在網絡服務器上的程序請求數據。CGI描述了服務器和請求處理程序之間傳輸數據的一種標準。
這里的標準輸入輸出是對應的一些環境變量主要包含有與請求相關的環境變量，與服務器相關的環境變量，與客戶端相關的環境變量三大類。
fastcgi
FastCGI 實際上是增加了一些擴展功能的 CGI 、是 CGI 的改進，同樣也是描述客戶端和Web服務器程序之間傳輸數據的一種標準。
FastCGI 致力于減少Web服務器與CGI程序之間進行互動的開銷，從而使Web服務器可以同時處理更多的Web請求。與 CGI 為每個Web請求創建一個新的進程不同， FastCGI 使用持續的進程來處理一連串的Web請求，這些進程由FastCGI進程管理器管理，而不是Web服務器。
為什么說是減少了互動的開銷呢？這就要看兩種處理方式的區別！
cgi的工作流程：
每當客戶端發出一個新的請求，首先要創建一個cgi子進程，然后cgi處理完請求，有多少個連接就會有多少個cgi子進程啟動，當請求量大的時候會占用大量的系統資源。
fastcgi
fastcgi 是使用持續的進程處理一連串的請求，這些進程有fastcgi的進程管理器來進行管理具體流程如下所示：
也可以這樣比喻：
cgi在賣雞蛋灌餅，等到顧客要吃的時候，他開始點火，打雞蛋，攤餅，然后熄火。然后等待下一個顧客
fastcgi就是早餐店老版，雇傭了一幫服務員，專門做需要現場做的飯，老板只需要把訂單安排下去，服務員負責盛粥煎餅。
具體步驟
- 搭建c++的開發環境
- 搭建nginx
- 安裝fastcgi
- 安裝fastcgi的進程管理器spawn-cgi
- 編寫運行程序
- 編譯運行
工欲善其事，必先利其器，首先搭建環境把！
通過閱讀不少的博客內容找到了最簡單的安裝步驟，好多都是通過下載源代碼，然后通過make進行編譯，不過對于這些比較常用的庫，軟件包中已經集成了。
C++開發環境安裝
|
1
|
apt-get install build-essential |
nginx
|
1
|
apt-get install nginx |
fastcgi
|
1
|
sudo apt-get install libfcgi-dev |
spawn-fcgi
|
1
|
apt-get install spawn-fcgi |
編寫運行程序
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
|
#include <iostream>#include "fcgio.h" using namespace std; int main(void) { // Backup the stdio streambufs streambuf * cin_streambuf = cin.rdbuf(); streambuf * cout_streambuf = cout.rdbuf(); streambuf * cerr_streambuf = cerr.rdbuf(); FCGX_Request request; FCGX_Init(); FCGX_InitRequest(&request, 0, 0); while (FCGX_Accept_r(&request) == 0) { fcgi_streambuf cin_fcgi_streambuf(request.in); fcgi_streambuf cout_fcgi_streambuf(request.out); fcgi_streambuf cerr_fcgi_streambuf(request.err); cin.rdbuf(&cin_fcgi_streambuf); cout.rdbuf(&cout_fcgi_streambuf); cerr.rdbuf(&cerr_fcgi_streambuf); cout << "Content-type: text/html\r\n" << "\r\n" << "<html>\n" << " <head>\n" << " <title>Hello, World!</title>\n" << " </head>\n" << " <body>\n" << " <h1>Hello, World!</h1>\n" << " </body>\n" << "</html>\n"; } cin.rdbuf(cin_streambuf); cout.rdbuf(cout_streambuf); cerr.rdbuf(cerr_streambuf); return 0; |
編譯程序
|
1
|
g++ cgi.cpp -o cgidemo -lfcgi |
修改nginx 配置文件
|
1
|
vi /usr/local/nginx/conf/nginx.conf |
啟動nginx
|
1
|
nginx -c /usr/local/nginx/conf/nginx.conf |
通過瀏覽器驗證nginx是否正常啟動http://*******:80
啟動spwan-cgi進程
|
1
|
spawn-fcgi -a 127.0.0.1 -C 20 -p 7070 ./cgidemo |
總結
以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作具有一定的參考學習價值，如果有疑問大家可以留言交流，謝謝大家對服務器之家的支持。
原文鏈接：https://www.jianshu.com/p/a8e611527277
