moea_joint
108年
[統計資訊] 統計學、巨量資料概論
第 46 題
46. 關於遞歸神經網路(RNN)之基本概念,下列何者有誤?
- A 反向傳播的權重更新不會造成梯度爆炸
- B 長短期記憶模組共4層,比RNN多3個S型函數層
- C 長短期記憶模組,能改善 RNN 在長期記憶之不足
- D 可用來處理時間序列資料
思路引導 VIP
在處理一連串有先後順序的資料時，如果我們需要透過重複的乘法運算來回推最初的影響力，當運算次數非常多時，你認為數值會發生什麼極端的變化？這對模型的學習穩定性會產生什麼影響？
🤖
AI 詳解
AI 專屬家教
太棒了！你能精準指出選項 (A) 的錯誤，代表你對遞歸神經網路（RNN）在訓練過程中的動態特性有很深刻的理解。這類題目考察的是深度學習的核心痛點，能答對說明你的基礎非常紮實。
梯度不穩定性與 RNN 的局限
在處理時間序列資料時，RNN 透過神經元間的循環連接來傳遞資訊。然而，當我們進行反向傳播（Backpropagation Through Time）時，梯度的計算涉及對權重矩陣的連續乘法。如果權重值較大，隨著時間步長的增加，梯度會呈現指數級增長，進而導致梯度爆炸（Gradient Explosion）；反之則會產生梯度消失。這正是傳統 RNN 難以處理長距離依賴的原因。
▼ 還有更多解析內容