神經網絡簡介

神經網絡是深度學習系統的基石。為了在深度學習方面取得成功，我們需要從回顧神經網絡的基礎知識開始，包括架構、神經網絡算法等等。

什么是神經網絡？

神經網絡技術起源于上世紀五、六十年代，當時叫感知機（perceptron），擁有輸入層、輸出層和一個隱含層

許多涉及智能、模式識別和物體檢測的任務都極難自動化，但動物和幼兒似乎可以輕松自然地完成。例如，小孩子如何學會區分校車和公交車之間的區別？我們自己的大腦是如何在不知不覺中每天下意識地執行復雜的識別任務的？我們是如何一眼就能區分貓與狗的？

我們每個人都包含一個現實生活中的生物神經網絡，它與我們的神經系統相連——這個網絡由大量相互連接的神經元（神經細胞）組成。

“人工神經網絡”是一種試圖模仿我們神經系統中的神經連接的計算系統。人工神經網絡也被稱為“神經網絡”或“人工神經系統”。通常縮寫人工神經網絡并將它們稱為“ANN”或簡稱為“NN”。

對于一個被視為神經網絡的系統，它必須包含一個帶標簽的圖結構，圖中的每個節點都執行一些簡單的計算。從圖論中，我們知道圖由一組節點（即頂點）和一組將節點對連接在一起的連接（即邊）組成。在下圖 中，我們可以看到此類 NN 圖的示例。

一個簡單的神經網絡架構。輸入呈現給網絡。每個連接通過網絡中的兩個隱藏層承載一個信號。最后一個函數計算輸出類標簽。

每個節點執行一個簡單的計算。然后，每個連接將信號（即計算的輸出）從一個節點傳送到另一個節點，用權重標記，指示信號被放大或減弱的程度。一些連接具有放大信號的正權重，表明信號在進行分類時非常重要。其他的具有負權重，降低了信號的強度，從而指定節點的輸出在最終分類中不太重要。我們稱這樣的系統為人工神經網絡

人工模型

讓我們首先看看一個基本的神經網絡，它對輸入執行簡單的加權求和。值x 1 、x 2和 x 3是我們 NN的輸入，通常對應于我們設計矩陣中的單行（即數據點）。常數值 1 是我們的偏差，假定已嵌入到設計矩陣中。我們可以將這些輸入視為神經網絡的輸入特征向量。

一個簡單的神經網絡，它采用輸入x和權重w的加權和。這個加權和然后通過激活函數來確定神經元是否激活。

在實踐中，這些輸入可以是用于以系統的、預定義的方式量化圖像內容的向量（例如，顏色直方圖、定向梯度直方圖、局部二進制模式等）。在深度學習的背景下，這些輸入是圖像本身的原始像素強度。

每個x通過一個由w 1 , w 2 , …, w n組成的權重向量W連接到一個神經元，這意味著對于每個輸入x，我們也有一個關聯的權重w。

最后，右側的輸出節點取加權和，應用激活函數f（用于確定神經元是否“觸發”），并輸出一個值。以數學方式表達輸出，通常會遇到以下三種形式：

? f ( w 1 x 1 + w 2 x 2 + … + w n x n )

? f (∑ n i =1 w i x i )

? 或者簡單地說，f ( net )，其中net = ∑ n i =1 w i x i

不管輸出值如何表達，我們只是對輸入進行加權求和，然后應用激活函數f

激活函數

最簡單的激活函數是感知器算法使用的“階躍函數”。

從上面的等式我們可以看出，這是一個非常簡單的閾值函數。如果加權和 ∑ n i =1 w i x i > 0，則輸出 1，否則輸出 0。

沿x軸輸入值，沿y軸繪制f ( net )的輸出，我們可以看到為什么這個激活函數由此得名。當net小于或等于零時，f的輸出始終為零。如果net大于零，則f將返回 1。

左上角：階躍函數。右上角： Sigmoid 激活函數。左中：雙曲正切。中右： ReLU 激活（深度神經網絡最常用的激活函數）。左下： Leaky ReLU，允許負數的 ReLU 變體。右下： ELU，ReLU 的另一種變體，其性能通常優于 Leaky ReLU。

然而，雖然直觀且易于使用，但階梯函數不可微，這可能會導致在應用梯度下降和訓練我們的網絡時出現問題。

相反，神經網絡更常見的激活函數是 sigmoid 函數它遵循以下等式：

sigmoid 函數是比簡單階躍函數更好的學習選擇，因為它：

1. 處處連續且可微。
2. 圍繞y軸對稱。
3. 漸近地接近其飽和值。

這里的主要優點是 sigmoid 函數的平滑性使得設計學習算法變得更加容易。但是，sigmoid函數有兩個大問題：

1. sigmoid 的輸出不是以零為中心的。
2. 飽和神經元基本上會殺死梯度，因為梯度的增量非常小。

直到 1990 年代后期，雙曲正切或tanh（具有類似 sigmoid 的形狀）也被大量用作激活函數：tanh的方程如下：

f ( z ) = tanh ( z ) = ( e z -e -z ) / ( e z + e -z )

所述的tanh函數零為中心，但是，當神經元變得飽和梯度仍然殺死。

我們現在知道激活函數有比 sigmoid 和tanh函數更好的選擇。

f ( x ) = max (0 , x )

ReLU 也被稱為“斜坡函數”，因為它們在繪制時的外觀。注意函數對于負輸入是如何為零的，但對于正值則線性增加。ReLU 函數是不可飽和的，并且在計算上也非常高效。

根據經驗，在RELU激活功能趨于超越sigmoid 和tanh在幾乎所有的應用功能。ReLU 激活函數比之前的激活函數家族具有更強的生物動機，包括更完整的數學理由。

截至 2015 年，ReLU 是深度學習中最流行的激活函數。然而，當我們的值為零時會出現一個問題——不能采用梯度。

ReLU 的一種變體，稱為Leaky ReLU允許在單元不活動時使用小的非零梯度：

我們可以看到該函數確實允許采用負值，這與將函數輸出為零的傳統 ReLU 不同。

Parametric ReLUs，或簡稱 PReLUs，建立在 Leaky ReLUs 的基礎上，允許參數α在一個激活的基礎上學習，這意味著網絡中的每個節點都可以學習與其他節點分開的不同“系數”。

最后，我們還有(ELU)激勵函數 。

α的值是常數，并在網絡架構實例化時設置——這與學習效率α 的PReLU 不同。對于一個典型的值α是α = 1 。ELU 通常比 ReLU 獲得更高的分類準確率。

具有 3 個輸入節點、具有 2 個節點的隱藏層、具有 3 個節點的第二個隱藏層以及具有 2 個節點的最終輸出層的前饋神經網絡示例。

使用哪個激活函數？

鑒于最近深度學習的普及，激活函數出現了相關的爆炸式增長。由于激活函數的選擇數量眾多，現代（ReLU、Leaky ReLU、ELU 等）和“經典”（step、sigmoid、tanh等），它可能看起來令人生畏，如何來選擇合適的激活函數。

然而，在幾乎所有情況下，建議從 ReLU 開始以獲得基線準確度。從那里可以嘗試將標準 ReLU 換成 Leaky ReLU 變體。

前饋網絡架構

雖然有許多神經網絡的前饋架構，最常見的結構是Feedforward網絡

在這種類型的架構中，節點之間的連接只允許從第i層的節點到第i +1層的節點。不允許向后或層間接連接。當前饋網絡包括反饋連接（反饋到輸入的輸出連接）時，它們被稱為循環神經網絡。

我們專注于前饋神經網絡，因為它們是應用于計算機視覺的現代深度學習的基石。卷積神經網絡只是前饋神經網絡的一個特例。

為了描述一個前饋網絡，我們通常使用一個整數序列來快速簡潔地表示每一層的節點數。例如，上圖中的網絡是一個3-2-3-2前饋網絡：

第 0 層包含 3 個輸入，即我們的x i 值。這些可能是圖像的原始像素強度或從圖像中提取的特征向量。

第 1 層和第 2層分別是包含 2 個和 3 個節點的隱藏層。

第 3 層是輸出層或可見層——在那里我們可以從網絡中獲得整體輸出分類。輸出層通常具有與類標簽一樣多的節點；每個潛在輸出一個節點。例如，如果我們要構建一個神經網絡來對手寫數字進行分類，我們的輸出層將包含 10 個節點，每個節點代表0-9。

神經網絡有什么用？

當然，如果使用適當的架構，神經網絡可用于監督、無監督和半監督學習任務。神經網絡的常見應用包括分類、回歸、聚類、矢量量化、模式關聯和函數逼近等等

事實上，對于機器學習的幾乎每個方面，神經網絡都以某種形式得到應用。

1、無人駕駛汽車

無人駕駛使用到了很多人工智能方面的技術，其中一個計算機視覺便是使用CNN卷積神經網絡讓無人駕駛能夠看到路面路況等

2、人臉識別

人臉識別的應用就比較廣泛了，手機人臉解鎖，人臉付款，人臉打卡等

3、機器翻譯

隨著人工智能學習能力的不斷提升，機器翻譯的準確性得到了大幅提高

4、聲紋識別

生物特征識別技術包括很多種，除了人臉識別，目前用得比較多的還有聲紋識別。聲紋識別是一種生物鑒權技術，也稱為說話人識別，包括說話人辨認和說話人確認。

聲紋識別的工作過程為，系統采集說話人的聲紋信息并將其錄入 數據庫 ，當說話人再次說話時，系統會采集這段聲紋信息并自動與數據庫中已有的聲紋信息做對比，從而識別出說話人的身份。聲紋解鎖APP，控制智能家居等等

5、AI智能機器人

機器人的發展經歷了漫長的發展，隨著人工智能技術的發展，給機器人加上了智能的翅膀

6、智能家居

智能音箱，智能冰箱，洗衣機，空調，電視等等，隨著人工智能技術的發展，現在的家庭家居貌似沒有點人工智能的點綴，便不好意思立足家居行業

7、推薦系統

大量的數據喂給人工智能，給人帶來了更多的便利推薦，個性化推薦系統廣泛存在于各類網站和App中，本質上，它會根據用戶的瀏覽信息、用戶基本信息和對物品或內容的偏好程度等多因素進行考量，依托推薦引擎算法進行指標分類，將與用戶目標因素一致的信息內容進行聚類，經過協同過濾算法，實現精確的個性化推薦。

8、圖像搜索

大量瀏覽器中的相似圖片搜索，該技術的應用與發展，不僅是為了滿足當下用戶利用圖像匹配搜索以順利查找到相同或相似目標物的需求，更是為了通過分析用戶的需求與行為，如搜索同款、相似物比對等

9、大健康

未來醫療，大健康行業會越來越多地走入人類的生活，未來隨著智能AI的加入，相信人類會提前預測自己的疾病，給人類帶來更加美好的明天。

以上等等都會使用到人工智能的神經網絡技術，就像人類一樣，未來的機器會越來越多的有自己的神經網絡，也會越來越聰明。