梯度消失問題

梯度消失問題vanishing gradient problem)係運用梯度下降法人工神經網絡上會遇到嘅一個問題,即啲梯度更新值成指數噉衰減、導致啲梯度唔點變乜嚌。

想像一個機械學習研究者用訓練一個神經網絡,用個網絡做預測嘅準確度作為表現指標;梯度下降法靠嘅係睇現時參數位置周圍嘅準確度(精確啲講係準確度隨參數數值嘅偏導數),並且將參數移去會令準確度更高嘅數值;問題係喺某啲情況下,梯度會消失(就算改變咗參數,準確度都唔會點變),於是個演算法就會唔識改變參數嘅數值,甚至令學習過程完全停止。

睇埋