免費開始練習
moea_joint_essay 104年 [通信] 通訊系統、電磁學

第 二 題

📖 題組:
考慮一通道如【圖 1】,$p(y_0 | x_0) = p(y_2 | x_1) = 1-p$,$p(y_1 | x_0) = p(y_1 | x_1) = p$,求:
📝 此題為申論題,共 2 小題

小題 (二)

通道容量(channel capacity ) $C_s$。(10分)
題目圖片

思路引導 VIP

通道容量定義為互資訊的最大值 $C_s = \max_{P(X)} I(X;Y)$,藉由調整輸入機率分布(參數 r)使得 $H(r)$ 最大化。

🤖
AI 詳解
AI 專屬家教

通道容量定義為在所有可能的輸入機率分佈下,互信息的最大值: $C_s = \max_{r} I(X;Y) = \max_{r} (1-p)H(r)$ 因為 $1-p$ 為常數且不小於 $0$,欲使 $I(X;Y)$ 最大化,只需使二元熵函數 $H(r) = -r\log_2 r - (1-r)\log_2(1-r)$ 達到最大。

小題 (一)

互信息(mutual information) $I(X;Y)$。(10分)
題目圖片

思路引導 VIP

列出輸入機率分佈並推導輸出機率,運用互資訊公式 $I(X;Y) = H(Y) - H(Y|X)$,計算條件熵與輸出資訊熵,將結果化簡整理出含參數 r 與 p 的表達式。

🤖
AI 詳解
AI 專屬家教

根據圖1與題意,通道輸入機率為 $P(x_0) = r$,$P(x_1) = 1-r$。 輸出端各符號的邊際機率 $P(Y)$ 為: $P(y_0) = P(x_0)p(y_0|x_0) = r(1-p)$