地特三等申論題
106年
[統計] 迴歸分析
第 二 題
📖 題組：
考慮一多元線性迴歸模型,其反應變數為Y,解釋變數為X1,X2,...,Xk,有n個觀測值,線性迴歸模型為Y₁ = β + β₁X1 + β2X12 + ... + ẞk Xik + &i, i = 1, ...,n,其中誤差項Ɛ₁之期望值為0,變異數為2,且兩兩獨立,此模型以向量及矩陣方式表示為Y = Xẞ+ε (*),其中 Y₁ 11 1 X1 X1k βο Y2 1 X21X2k β E2 Y = X = ,β = ,E = : : : : : Yn nx1 nl 1 Xn1... Xnk_nx(k+1) Bk(k+1)x1 En nx1 請回答下列問題:(每小題5分,共30分)
考慮一多元線性迴歸模型,其反應變數為Y,解釋變數為X1,X2,...,Xk,有n個觀測值,線性迴歸模型為Y₁ = β + β₁X1 + β2X12 + ... + ẞk Xik + &i, i = 1, ...,n,其中誤差項Ɛ₁之期望值為0,變異數為2,且兩兩獨立,此模型以向量及矩陣方式表示為Y = Xẞ+ε (*),其中 Y₁ 11 1 X1 X1k βο Y2 1 X21X2k β E2 Y = X = ,β = ,E = : : : : : Yn nx1 nl 1 Xn1... Xnk_nx(k+1) Bk(k+1)x1 En nx1 請回答下列問題:(每小題5分,共30分)
📝 此題為申論題，共 6 小題
小題 (二)
承題(一),令A為一個2×(k+1)的矩陣,求Ab之變異數-共變異數矩陣。
思路引導 VIP
首先確認 OLS 估計量 b 的變異數-共變異數矩陣為 σ²(X'X)⁻¹。接著套用隨機向量線性組合的變異數性質：Var(AX) = A Var(X) A' 即可輕鬆求出結果。
小題 (一)
以向量及矩陣方式,試求出參數向量β之最小平方估計量向量b。
思路引導 VIP
看到求最小平方估計量，應立刻想到建立「誤差平方和 (SSE)」的矩陣函數 $SSE = (Y-Xb)^T(Y-Xb)$。將其展開後，利用矩陣微分對估計量向量 $b$ 求偏導並令為零向量（即建立常態方程式），即可推導出結果。
小題 (三)
配適值向量表為Ŷ=HY,寫出矩陣 H。
思路引導 VIP
看到配適值向量與 H 矩陣，應立刻聯想到「帽子矩陣（Hat matrix）」。解題關鍵在於先寫出最小平方法（OLS）的迴歸係數估計量公式，再將其代入配適值公式推導出 H。
小題 (四)
求出殘差向量e=Y-Ŷ之變異數-共變異數矩陣。
思路引導 VIP
考生看到此題應先想到利用帽子矩陣（Hat matrix）H 將殘差向量 e 表示成誤差項 ε 的線性組合。接著運用變異數運算性質 Var(AX) = A Var(X) A' 以及 I-H 矩陣的對稱與等冪（idempotent）特性進行推導。
小題 (五)
令A 為對稱矩陣,則Y'AY稱為Y之二次式,將此模型之SSE (error sum of square) = e'e表成二次式,其中Y'和e'分別是Y和e之轉置矩陣。
思路引導 VIP
看到此題應先聯想到殘差向量（e）與反應變數（Y）之間的線性關係。利用最小平方法推導出帽子矩陣（Hat matrix），並運用其對稱與冪等的矩陣特性，將殘差平方和（SSE）展開並化簡為 Y 的二次式。
小題 (六)
求出β之最大概似估計量,對誤差項向量需要什麼假設。
思路引導 VIP
要求最大概似估計量 (MLE)，首先必須明確給定機率分配，因此需額外假設誤差項服從常態分配。接著寫出概似函數並取對數，對參數微分設為零即可推導出估計量。
線性迴歸變異數推導
💡 掌握 OLS 估計量變異數結構與隨機向量線性轉換性質。
🔗 OLS 線性組合變異數推導步驟
- 1 確立基礎 — 確認 b 為 OLS 估計量且已知其 Var(b) 結構。
- 2 套用性質 — 使用隨機向量性質 Var(AX) = A Var(X) A'。
- 3 代入代數 — 將 σ²(X'X)⁻¹ 代入公式並提取純量 σ² 至最前方。
- 4 維度檢查 — 確認結果矩陣維度符合 A 矩陣之列數。
↓
↓
↓
🔄 延伸學習：延伸學習：此結果可用於計算線性組合的標準誤與建構信賴區間。
