一、卷積神經網絡的概述

卷積神經網絡（convolutionalneural network，cnn）最初是為解決圖像識別等問題設計的，cnn現在的應用已經不限于圖像和視頻，也可用于時間序列信號，比如音頻信號和文本數據等。cnn作為一個深度學習架構被提出的最初訴求是降低對圖像數據預處理的要求，避免復雜的特征工程。在卷積神經網絡中，第一個卷積層會直接接受圖像像素級的輸入，每一層卷積（濾波器）都會提取數據中最有效的特征，這種方法可以提取到圖像中最基礎的特征，而后再進行組合和抽象形成更高階的特征，因此cnn在理論上具有對圖像縮放、平移和旋轉的不變性。

卷積神經網絡cnn的要點就是局部連接（localconnection）、權值共享（weights sharing）和池化層（pooling）中的降采樣（down-sampling）。其中，局部連接和權值共享降低了參數量，使訓練復雜度大大下降并減輕了過擬合。同時權值共享還賦予了卷積網絡對平移的容忍性，池化層降采樣則進一步降低了輸出參數量并賦予模型對輕度形變的容忍性，提高了模型的泛化能力。可以把卷積層卷積操作理解為用少量參數在圖像的多個位置上提取相似特征的過程。

卷積層的空間排列：上文講解了卷積層中每個神經元與輸入數據體之間的連接方式，但是尚未討論輸出數據體中神經元的數量，以及它們的排列方式。3個超參數控制著輸出數據體的尺寸：深度（depth），步長（stride）和零填充（zero-padding）。首先，輸出數據體的深度是一個超參數：它和使用的濾波器的數量一致，而每個濾波器在輸入數據中尋找一些不同的東西。其次，在滑動濾波器的時候，必須指定步長。有時候將輸入數據體用0在邊緣處進行填充是很方便的。這個零填充（zero-padding）的尺寸是一個超參數。零填充有一個良好性質，即可以控制輸出數據體的空間尺寸（最常用的是用來保持輸入數據體在空間上的尺寸，這樣輸入和輸出的寬高都相等）。輸出數據體在空間上的尺寸可以通過輸入數據體尺寸（w），卷積層中神經元的感受野尺寸（f），步長（s）和零填充的數量（p）的函數來計算。（這里假設輸入數組的空間形狀是正方形，即高度和寬度相等）輸出數據體的空間尺寸為(w-f +2p)/s+1，在計算上，輸入數據體的長和寬按照該公式計算，深度依賴于濾波器的數量。步長的限制：注意這些空間排列的超參數之間是相互限制的。舉例說來，當輸入尺寸w=10，不使用零填充則p=0，濾波器尺寸f=3，這樣步長s=2就行不通，結果4.5不是整數，這就是說神經元不能整齊對稱地滑過輸入數據體。

匯聚層使用max操作，對輸入數據體的每一個深度切片獨立進行操作，改變它的空間尺寸。最常見的形式是匯聚層使用尺寸2x2的濾波器，以步長為2來對每個深度切片進行降采樣，將其中75%的激活信息都丟掉。每個max操作是從4個數字中取最大值（也就是在深度切片中某個2x2的區域）。深度保持不變。

二、卷積神經網絡的結構

卷積神經網絡通常是由三種層構成：卷積層，匯聚層（除非特別說明，一般就是最大值匯聚）和全連接層（fully-connected簡稱fc）。relu激活函數也應該算是是一層，它逐元素地進行激活函數操作。

卷積神經網絡最常見的形式就是將一些卷積層和relu層放在一起，其后緊跟匯聚層，然后重復如此直到圖像在空間上被縮小到一個足夠小的尺寸，在某個地方過渡成成全連接層也較為常見。最后的全連接層得到輸出，比如分類評分等。

最常見的卷積神經網絡結構如下：

input -> [[conv -> relu]*n ->pool?]*m -> [fc -> relu]*k -> fc

其中*指的是重復次數，pool?指的是一個可選的匯聚層。其中n >=0,通常n<=3,m>=0,k>=0,通常k<3。

幾個小濾波器卷積層的組合比一個大濾波器卷積層好。直觀說來，最好選擇帶有小濾波器的卷積層組合，而不是用一個帶有大的濾波器的卷積層。前者可以表達出輸入數據中更多個強力特征，使用的參數也更少。唯一的不足是，在進行反向傳播時，中間的卷積層可能會導致占用更多的內存。

輸入層（包含圖像的）應該能被2整除很多次。常用數字包括32（比如cifar-10），64，96（比如stl-10）或224（比如imagenet卷積神經網絡），384和512。

卷積層應該使用小尺寸濾波器（比如3x3或最多5x5），使用步長s=1。還有一點非常重要，就是對輸入數據進行零填充，這樣卷積層就不會改變輸入數據在空間維度上的尺寸。一般對于任意f，當p=(f-1)/2的時候能保持輸入尺寸。如果必須使用更大的濾波器尺寸（比如7x7之類），通常只用在第一個面對原始圖像的卷積層上。

匯聚層負責對輸入數據的空間維度進行降采樣，提升了模型的畸變容忍能力。最常用的設置是用用2x2感受野的最大值匯聚，步長為2。注意這一操作將會把輸入數據中75%的激活數據丟棄（因為對寬度和高度都進行了2的降采樣）。另一個不那么常用的設置是使用3x3的感受野，步長為2。最大值匯聚的感受野尺寸很少有超過3的，因為匯聚操作過于激烈，易造成數據信息丟失，這通常會導致算法性能變差。

三、cnn最大的特點在于卷積的權值共享（參數共享），可以大幅度減少神經網絡的參數數量，防止過擬合的同時又降低了神經網絡模型的復雜度。如何理解？

假設輸入圖像尺寸是1000*1000并且假定是灰度圖像，即只有一個顏色通道。那么一張圖片就有100萬個像素點，輸入維度就是100萬。如果采用全連接層（fully connected layer，fcl）的話，隱含層與輸入層相同大?。?00萬個隱含層節點），那么將產生100萬*100萬=1萬億個連接，僅此就有1萬億個參數需要去訓練，這是不可想象的。考慮到人的視覺感受野的概念，每一個感受野只接受一小塊區域的信號，每一個神經元不需要接收全部像素點的信息，只需要接收局部像素點作為輸入，而將所有這些神經元接收的局部信息綜合起來就可以得到全局的信息。于是將之前的全連接模式修改為局部連接，假設局部感受野大小是10*10，即每個隱含節點只與10*10個像素點相連，那么現在只需要10*10*100萬=1億個連接了，相比之前的1萬億已經縮小了10000倍。假設我們的局部連接方式是卷積操作，即默認每一個隱含節點的參數都完全一樣，那么我們的參數將會是10*10=100個。不論圖像尺寸有多大，都是這100個參數，即卷積核的尺寸，這就是卷積對減小參數量的貢獻。這也就是所謂的權值共享。我們采取增加卷積核的數量來多提取一些特征，每一個卷積核濾波得到的圖像就是一類特征的映射，即一個feature map。一般來說，我們使用100個卷積核在第一個卷積層就足夠了，這樣我們有100*100=10000個參數相比之前的1億又縮小了10000倍。卷積的好處是，不管圖片尺寸如何，需要訓練的參數數量只跟卷積核大小和數量有關，并且需要注意的是，盡管參數的數量大大下降了，但是我們的隱含節點的數量并沒有下降，隱含節點的數量只跟卷積的步長有關系。

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持服務器之家。

原文鏈接：http://blog.csdn.net/marsjhao/article/details/66968022