類神經網路—揭開網路架構調整秘辛

我們一般會運用類神經網路去描述我們想知道的真實世界中輸入與輸出之間的關係，會讓AI從數據當中學習，然後目標就是找到一個很棒的數學方式去逼近真實世界的輸入與輸出之間的關係，而這個數學方式是與類神經網路架構直接相關，如果架構不好，整個網路的學習就會差，預測的效果就會不好。因此，我們必須要對類神經網路架構的調整方法有一定的認識。

Table of Contents

類神經網路運算範例

我們先來學習一個最簡單的類神經網路計算範例，此架構擁有輸入兩個節點與輸出一個節點

輸入分別為x1與x2，權重分別為w1與w2，這樣產生的最終輸出會等於w1x1+w2x2，通常再節點輸出的部份還會取啟動函數，才會得到最終輸出為f(w1x1+w2x2)。其中我們可以更細部來看在函數內部的計算是w1x1+w2x2組成，這樣的計算方式是比較簡單，因為只有牽涉單純的乘法與加法，我們稱這樣的描述方式是線性。而取啟動函數的部分，則是較為複雜，依據函數的種類，有可能會以線性描述也有可能以非線性描述。通常經過啟動函數的運作之後，就可賦予網路描述較複雜的關係。

我們進一步把這個運算拆解來看，在函數內的計算如紅色方框所示，我們就稱為訊號的疊加。而f的部分，則是牽涉啟動函數的計算。

一般調整類神經網架構有兩種方式，一種是改變節點數，另一種是改變層數，如同下圖所示

從上圖可了解到，如果要把節點數增加，就是固定某一層上，把節點數加多，因此會越往下走。把層數增加就會越往右邊走。

類神經網路架構調整—節點數增加

我們先來看節點數增加，我們在上述的網路中，在輸入部分多加一個節點x3。

我們會發現到多一個x3節點之後，就相對應多權重w3，最終在輸出部分，函數內的訊號疊加部份就多了一個累加項w3x3。

從上述結構可以發現到，增加節點數會造成訊號源數目增加，目的就是要有更多的特徵，讓AI有更好的學習。舉例來說，如果今天想要預測明天的天氣，光是給定環境濕度跟溫度還預測不好，那就會多給地點，或是颱風有沒有來的特徵，多讓AI去做學習判斷。

類神經網路架構調整—層數增加

再來就是以層數增加來看，我們在一開始所提及的架構右邊多加一層。

從上圖會發現到原本輸出為f(w1x1+w2x2)又因為又有下一個層的緣故，所以會當成是下一層節點的輸入，而輸出部分又要再取一次啟動函數，就會得到結果g(f(w1x1+w2x2)。而取完啟動函數f又要取啟動函數g的操作，就代表是以函數的函數關係來描述，這將會提升計算上的複雜度，因為光是取一次啟動函數就有可能是非線性的操作，而再取一次啟動函數，最終的輸出就更難以捉摸，有可能會變更大或更小，或是變為零都有可能。

而以函數的函數的運算方式就是讓AI用更複雜的數學描述輸入與輸出之間的關係。目的就是在於讓AI學習時的智力變高，讓AI更有能力去理解複雜的輸入與輸出之間的關係。

會有這樣作法的原因是來自於有時候已經給定還不錯的特徵了，但是因為數學不夠複雜，就導致AI無法理解其中的關係。