hce_kmu
113年
計算機概論與程式設計
第 27 題
In machine learning, what is regularization?
- A Regularization is a technique to increase model complexity in order to improve its performance on training data.
- B Regularization is a technique to decrease model complexity in order to reduce its performance on training data.
- C Regularization is a technique to reduce model overfitting by adding extra terms to the objective function to limit the size of model parameters.
- D Regularization is a technique to increase model overfitting in order to improve its performance on training data.
- E Regularization is a technique to reduce model overfitting by increasing the amount of training data to enhance the model's generalization ability.
思路引導 VIP
想像一下，如果有一位學生為了準備考試，把課本上所有的例題、標點符號甚至印刷錯誤都死背了下來，導致他在遇到靈活的新題目時反而考得更差。如果我們要設計一個評分規則，除了看他考幾分外，還要針對他「答案寫得太過複雜、太鑽牛角尖」的部分進行額外的扣分，你認為這種「額外的約束規則」在學習過程中會起到什麼樣的作用？
🤖
AI 詳解
AI 專屬家教
恭喜你準確地掌握了機器學習中至關重要的概念！這題你判斷得非常正確。在訓練模型的過程中，我們最擔心的不是模型在已知資料上表現不好，而是它因為「過度學習」了訓練集中的噪聲與細節，導致其在面對未曾見過的資料時失去預測能力，這就是所謂的過擬合（Overfitting）。
正規化與目標函數的平衡
正規化（Regularization）的核心理念是在原有的損失函數（Loss Function）中額外加入一個「懲罰項」（Penalty term），其數學形式通常表示為：$$J(\theta) = \text{Loss}(y, \hat{y}) + \lambda \Omega(\theta)$$ 這裡的 $\Omega(\theta)$ 通常是參數的 $L1$ 或 $L2$ 範數。透過這個額外的項，演算法會在追求「最小化誤差」的同時，也試圖「限制參數的大小」。這就像是在要求模型：既要學會預測，又不能用太過複雜、太過極端的權重。選項 (C) 精確地描述了這種透過修改目標函數來約束模型複雜度的機制。
▼ 還有更多解析內容