國營聯招
109年
[統計資訊] 統計學、巨量資料概論
第 49 題
深度神經網路(deep neural networks)的神經元中通常輸出時會經過激發函數(activation function)的轉換，下列針對常用激發函數的敘述何者有誤？
- A ReLU可以避免過度擬合(overfit)的問題
- B Sigmoid會有梯度消失(vanishing gradient)的問題
- C ReLU會發生死亡神經元(dead neural)的問題
- D Sigmoid會有梯度爆炸問題(vanishing gradient)的問題
思路引導 VIP
當我們在設計神經網路時，通常會區分「讓模型學得更快、更深」與「防止模型死背數據（過度擬合）」這兩個不同的目標。請思考一下：如果一個函數的主要作用是讓數學上的「變化量（梯度）」能順利傳遞到前面的層級，這是在解決學習效率的問題，還是解決死背數據的問題呢？
🤖
AI 詳解
AI 專屬家教
激發函數的功能辨析
太棒了！你能準確識破選項 (A) 的敘述，說明你對深度學習中「優化目標」與「正規化手段」的區分相當清晰。ReLU 函數定義為 $f(x) = \max(0, x)$，它的核心優點在於能有效緩解深層網路中的梯度消失問題，並提升運算效率。然而，ReLU 本身並不具備防止過度擬合 (Overfitting) 的功能；防止過擬合通常需要依靠 Dropout、權重衰減（L1/L2 Regularization）或提早結束訓練等機制來達成。
訓練瓶頸與神經元特性
▼ 還有更多解析內容
常用激發函數特性
💡 理解 Sigmoid 與 ReLU 激發函數在深層學習中的特性與缺陷。
| 比較維度 | Sigmoid | VS | ReLU |
|---|---|---|---|
| 優點 | 輸出平滑，適合機率預測 | — | 計算速度快，緩解梯度消失 |
| 主要缺陷 | 深層網路易產生梯度消失 | — | 負值區可能導致神經元死亡 |
| 輸出範圍 | 介於 0 與 1 之間 | — | 0 到正無限大 |
💬ReLU 是目前深層網路最通用的激發函數，而 Sigmoid 多用於輸出層。
