高考申論題
106年
[電信工程] 通信與系統
第 四 題
四、W 與 Z 為兩個隨機變數，其聯合機率分布為 P(c,1) = 1/8，P(c, 2) = 1/8，P(c, 3) = 1/4，P(d,1) = 1/8 ， P(d, 2) = 1/ 4 ， P(d, 3) = 1/8 。請計算 W 與 Z 的互訊息量（mutual information）I(W;Z)。（20 分）
📝 此題為申論題
思路引導 VIP
面對互訊息量（Mutual Information）的計算，首要步驟是根據已知條件建立「聯合機率分布表」，並計算出兩個隨機變數的「邊際機率」。接著，可利用資訊理論的基本定義公式 $I(W;Z) = H(W) + H(Z) - H(W,Z)$ 逐步求出各項熵值（Entropy）後代入求解，此方法相較於直接代入互訊息量定義式，較不容易在對數展開的運算中出錯。
🤖
AI 詳解
AI 專屬家教
【解題思路】利用資訊理論的基本定義，先求出各隨機變數的邊際機率分布，再透過互訊息量公式 $I(W;Z) = H(W) + H(Z) - H(W,Z)$ 進行逐步推導。 【詳解】 已知：隨機變數 $W \in {c, d}$ 與 $Z \in {1, 2, 3}$ 的聯合機率分布 $P(W,Z)$ 如下：
▼ 還有更多解析內容