步驟1: 定義當前權重位置
一開始我們需要知道類神經網路的權重是多少,就算是初始計算也會給定初始值,有了當前權重,我們才會知道當前是落在損失空間的哪個一位置。
這邊假設一開始有兩個權重,分別為w1,w2,其中w1=0.5,w2=0.2。
步驟2: 計算取得當前位置之梯度
接下來我們要計算損失梯度,因為最終目的是要往損失最低方向行走,所以要往負梯度方向行走,假設我們透過一些計算方法,得到負梯度方向為(0.1,0.2),則在損失空間當中往這個方向行走,一定可最快到達損失空間的谷底。因此,我們有了當前的梯度後,就等於我們有了下山的方向。
步驟3:決定當前學習率(步階大小)
eta為學習率,學習率代表的是決定一步要跨多遠,可以一步跨很遠,也可以一步跨很短,這是一個參數,要去決定,這邊是假設eta為0.1。
步驟4: 計算權重變化
有了負梯度方向,也有學習率後,我們就可以計算權重變化多少,就僅僅只是將學習率和負梯度方向相乘即可知道,針對w1的權重改變就是0.1*0.1=0.01,針對w2的權重改變就是0.1*0.2=0.02。
步驟5: 移動權重
有了權重改變後,將當前權重加上權重改變,就可以得到下一個步階的權重,像是w1而言,就是0.5+0.01=0.51,像是w2而言,就是0.2+0.02=0.22,如此就可以移動到下一個權重位置。
而反覆不斷上述步驟的過程,最終就會到達損失函數的谷底,而這時候所對應的權重,就代表是最佳權重,將最佳權重放入類神經網路當中,即可得到訓練完成的AI模型。
[參考資料]:
2.機器學習與人工神經網路(二):深度學習(Deep Learning)
[類神經網路基礎系列專文]:
1.類神經網路(Deep neural network, DNN)介紹
3.類神經網路—啟動函數介紹(一): 深入解析Relu與Sigmoid函數:如何影響類神經網路的學習效果?
4.類神經網路—啟動函數介紹(二): 回歸 vs. 分類: 線性函數與Tanh函數之原理探索
5.類神經網路—啟動函數介紹(三): 掌握多元分類的核心技術:不可不知的softmax函數原理
6.類神經網路—啟動函數介紹(四): 如何選擇最適當的啟動函數?用一統整表格讓您輕鬆掌握
8.類神經網路—反向傳播法(一): 白話文帶您了解反向傳播法
10.類神經網路—反向傳播法(三): 五步驟帶您了解梯度下降法
11.類神經網路—反向傳播法(四): 揭開反向傳播法神秘面紗
12.機器學習訓練原理大揭秘:六步驟帶您快速了解監督式學習的訓練方法
13.類神經網路—反向傳播法(五): 用等高線圖讓您對學習率更有感
[機器學習基礎系列專文]:
1.機器學習訓練原理大揭秘:六步驟帶您快速了解監督式學習的訓練方法
[類神經網路延伸介紹]:
1.卷積類神經網路(Convolution neural network,CNN)介紹
2.遞迴類神經網路(Recurrent neural network,RNN)介紹
[ChatGPT系列專文]:
2.從ChatGPT探索GPT的原理概念:少量數據的解方—遷移學習技巧
3.ChatGPT是什麼?探索GPT原理:遷移學習(transfer learning)的奧秘—微調(fine-tuning)技巧
自動引用通知: 類神經網路(Deep neural network, DNN)介紹 - 李彼德之家
自動引用通知: 類神經網路-揭開網路架構調整秘辛 - 李彼德之家
自動引用通知: 類神經網路-反向傳播法(四): 揭開反向傳播法神秘面紗 - 李彼德之家
自動引用通知: 類神經網路-反向傳播法(一): 白話文帶您了解反向傳播法 - 李彼德之家
自動引用通知: 類神經網路-前向傳播法 - 李彼德之家
自動引用通知: 類神經網路-啟動函數介紹 - 李彼德之家
自動引用通知: 類神經網路(Deep neural network, DNN)介紹 - 李彼德之家
自動引用通知: 類神經網路(Deep neural network, DNN)介紹 - 李彼德之家
自動引用通知: 類神經網路-揭開網路架構調整秘辛 - 李彼德之家
自動引用通知: 類神經網路-反向傳播法(四): 揭開反向傳播法神秘面紗 - 李彼德之家
自動引用通知: 類神經網路—反向傳播法(二): 淺談梯度 - 李彼德之家
自動引用通知: Rule-based v.s. AI方法比較 - 李彼德之家
自動引用通知: 機器學習訓練原理大揭秘:六步驟帶您快速了解監督式學習的訓練方法 - 李彼德之家
自動引用通知: 遞迴類神經網路(Recurrent neural network,RNN)介紹 - 李彼德之家
自動引用通知: 卷積類神經網路(Convolution neural network,CNN)介紹 - 李彼德之家