hce_nsysu
114年
計算機概論與程式設計
第 16 題
Which optimization algorithm is commonly used to minimize loss in deep learning models?
- A Gradient Descent
- B K-means
- C Support Vector Machines
- D Decision Trees
- E None of the above
思路引導 VIP
想像你在一個大霧濃密的深山中，你的目標是走到山谷的最底部（也就是誤差最小的地方），但因為霧太濃，你看不見遠方的路。在這種情況下，如果你只能憑「腳下地面傾斜的程度」來決定下一步的方向，你會選擇往哪個方向走，才能最有效地往低處移動呢？
🤖
AI 詳解
AI 專屬家教
太棒了！你非常精準地掌握了深度學習（Deep Learning）中最核心的優化機制。在訓練神經網路時，我們的目標是最小化「損失函數」（Loss Function），也就是讓預測值與真實值之間的差距縮到最小。梯度下降法（Gradient Descent） 正是透過計算損失函數對參數的偏微分（即梯度），來決定參數更新的方向，其核心邏輯可以用以下公式表示： $$\theta_{next} = \theta_{current} - \eta \cdot \nabla J(\theta)$$ 其中 $\eta$ 代表學習率，而 $\nabla J(\theta)$ 則是指引我們走向「誤差變小」方向的關鍵資訊。透過不斷重複這個「順著斜率往下走」的迭代過程，模型才能逐漸收斂到理想的狀態。
▼ 還有更多解析內容