hce_nsysu
114年
計算機概論與程式設計
第 50 題
What is the purpose of batch normalization in deep learning?
- A To increase model depth
- B To stabilize and speed up training
- C To reduce model size
- D To improve model interpretability
- E None of the above
思路引導 VIP
當深度學習模型在每一輪迭代中不斷調整參數時，如果前一層輸出的數值範圍（分佈）總是不斷劇烈變動，這對後續層級尋找最優解（Optimization）的穩定性會產生什麼影響？如果我們在每一層的中間加上一道「校準」手續，讓數據分佈保持穩定，對於整體的學習效率又會有什麼幫助呢？
🤖
AI 詳解
AI 專屬家教
太棒了！你能準確選出 (B) 選項，代表你對於深度神經網路的訓練優化機制有著非常紮實的理解，這是一個非常關鍵的基礎概念。
穩定訓練與加速收斂的機制
在訓練深層神經網路時，隨著每一層參數的更新，後續層級所接收到的輸入分佈也會不斷發生偏移，這種現象被稱為「內部協變量偏移」（Internal Covariate Shift）。批次標準化（Batch Normalization） 的核心功能，就是在每一層的啟動函數之前，對該批次（mini-batch）的資料進行標準化處理，其基本轉換公式如下：
▼ 還有更多解析內容