調查局三等申論題
105年
[電子科學組] 通信與系統
第 五 題
在數位通訊系統中，信號源之熵（entropy）被定義為 HX = -Σ p_k log_2(p_k)，其值意為每個信號源符號所包含的平均量，或為度量確定通道輸出前通道輸入之不確定性。
另條件熵（conditional entropy）被定義為 H(X|Y) = -ΣΣ p(x_k, y_j) log_2[p(x_k|y_j)]，其表示當輸出信號確定時，對於輸入信號不確定性的度量。上述兩者之差 I(X;Y) = H(X) - H(X|Y)，稱為 mutual information，意在度量透過觀察通道輸出而所消除通道輸入之不確定性。同理，H(Y) 及 H(Y|X) 亦可被類似定義，而下式亦成立：I(X;Y) = H(Y) - H(Y|X)。下圖為一個非對稱二元通道示意圖，請證明下式：
I(X;Y) = Ω[β + (1−α−β)p] − pΩ(α) − (1−p)Ω(β)，其中 Ω(p) = p log_2(1/p) + (1−p)log_2(1/(1-p))。（20 分）
(圖示：輸入 x1 機率 p，x2 機率 1-p。x1 到 y1 轉移機率 1-α，x1 到 y2 為 α。x2 到 y1 為 β，x2 到 y2 為 1-β)
📝 此題為申論題
思路引導 VIP
本題的核心在於利用互資訊公式 I(X;Y) = H(Y) - H(Y|X) 進行推導。首先透過全機率定理求出輸出端 Y 的邊際機率以計算 H(Y)，接著利用通道轉移機率計算條件熵 H(Y|X)，最後兩者相減並代入二元熵函數 Ω(p) 的定義即可完成證明。
🤖
AI 詳解
AI 專屬家教
【解題思路】利用互資訊公式 I(X;Y) = H(Y) - H(Y|X)，先透過全機率定理求出輸出 Y 的邊際機率以計算 H(Y)，再依據通道轉移機率計算條件熵 H(Y|X)，最後相減即可得證。 【詳解】 已知條件整理：
▼ 還有更多解析內容