類神經網路—反向傳播法(五): 用等高線圖讓您對學習率更有感

學習率是在梯度下降法當中，一個關鍵的參數，調整得宜，才會使得類神經網路在訓練過程中，以較短時間訓練到最完美的階段。每篇文章將帶您了解學習率是如何影響梯度下降法的好壞?

我們以等高線圖來講解，在等高線圖上，每一條曲線，代表同樣的高度。

垂直於等高線的方向為梯度的方向，我們會發現梯度方向有兩個方向，往高度增加的方向走，代表為正梯度方向，反之則是負梯度方向，那因為梯度下降法旨在找尋高度最低點，因此，我們會沿著負梯度的方向行走。

而學習率決定沿著負梯度方向走，要走多遠的距離，可視為是步伐的大小，在這張圖上，就是以箭頭長度代表。

如果學習率小，走的步伐小，則代表箭頭越短，依照負梯度方向行走，會達到山谷，不過因為步伐小，就箭頭短的關係，就需要走比較多步，也因此在訓練過程中，會耗費許多時間。

而學習率大，代表走的步伐非常大，箭頭很長，沿著負梯度方向行走，則會導致走到另一個100公尺的位置。

在100公尺的位置下，再沿著負梯度方向走，又會到達另一個100公尺高度的位置。

因此，我們可以發現到學習率過大，會造成再谷底附近有震盪現象，而無法下降到谷底，這也代表我們無法得到訓練完成的AI模型。

因此，在梯度下降法當中，學習率太小，則會導致訓練時間過長，因為每一步步伐走得很小，而學習率太大，則會導致在訓練過程中，遲遲無法下降到谷底，而無法訓練完成，因此，學習率大小應適中。

[參考資料]:

1.快速反應機制─類神經網路

2.機器學習與人工神經網路(二)：深度學習(Deep Learning)

3.機器學習的衰頹興盛：從類神經網路到淺層學習

[相關文章]:

1.類神經網路(Deep neural network, DNN)介紹

2.類神經網路—揭開網路架構調整秘辛

3.類神經網路—啟動函數介紹

4.類神經網路—前向傳播法

5.類神經網路—反向傳播法(一): 白話文帶您了解反向傳播法

6.類神經網路—反向傳播法(二): 淺談梯度

7.類神經網路—反向傳播法(三): 五步驟帶您了解梯度下降法

8.類神經網路—反向傳播法(四): 揭開反向傳播法神秘面紗

9.機器學習訓練原理大揭秘：六步驟帶您快速了解監督式學習的訓練方法

10.類神經網路—反向傳播法(五): 用等高線圖讓您對學習率更有感

[延伸閱讀]:

1.卷積類神經網路(Convolution neural network,CNN)介紹

2.遞迴類神經網路(Recurrent neural network,RNN)介紹

3.淺談最近非常火紅的ChatGPT背後可能原理機制為何?