調查局三等申論題
109年
[電子科學組] 通信與系統
第 三 題
三、X 與 Y 為兩個隨機變數，其聯合機率分布為：
P(X = Y = 0) = P(X = 0, Y = 1) = P(X = Y = 1) = 1/3。
計算 X 與 Y 的熵（entropy） H(X)=？ H(Y)=？條件熵（conditional entropy）H(X |Y )=？H(Y | X )=？與H(X, Y)=？（20分）
📝 此題為申論題
思路引導 VIP
看到此題，應先列出 X 與 Y 的邊際機率（Marginal Probability），再利用熵（Entropy）的定義公式求出各自的熵。接著，可直接代入聯合機率求出聯合熵，最後利用連鎖律（Chain Rule）輕鬆推導出條件熵。
🤖
AI 詳解
AI 專屬家教
【解題思路】利用資訊理論中熵（Entropy）的基本定義，先求出邊際機率與聯合機率，再透過定義公式與連鎖律（Chain Rule）逐步求出所有的熵值。 【詳解】 已知：
▼ 還有更多解析內容