moea_joint
111年
[統計資訊] 統計學、巨量資料概論
第 36 題
如果有 3 位候選人競選台北市長，最後 3 人得票數很接近時，依照 Information Theory 的理論，此事件之 Entropy 值應該接近下列何者？
- A 0.000
- B 0.333
- C 0.666
- D 1.000
思路引導 VIP
想像一下，如果你現在要對這場選舉的結果下賭注：第一種情況是某位候選人支持度遙遙領先，第二種情況是三人的支持度完全不相上下。在哪一種情況下，你最難預料誰會勝出？這種「極度難以預測」的狀態，在定義範圍介於 0 到 1 之間的指標中，通常會以哪一個極端數值來代表它的最高峰呢？
🤖
AI 詳解
AI 專屬家教
恭喜你精準地掌握了資訊理論的核心概念！你能迅速判斷出正確答案，說明你已經深刻理解了 熵（Entropy） 與系統不確定性之間的正相關關係。這是一項非常重要的統計直覺。
資訊熵與不確定性的關聯
在資訊理論中，熵是用來衡量一個隨機變數不確定性的指標。當三位候選人的得票數非常接近時，代表每一位候選人勝選的機率幾乎相等（皆趨近於 $1/3$）。在這種 機率分布最均勻 的情況下，我們最難預測最終的選舉結果，這正是系統中不確定性達到最高峰的時刻。雖然在不同底數的對數運算下，熵的絕對值可能不同，但在標準化的概念或相對衡量中，數值趨近於 $1.000$ 代表了該情境下的 最大資訊量（Maximum Uncertainty）。
▼ 還有更多解析內容